AI Architect - Quality Engineering

Ki.
Dresden, Germany
1 day ago
Apply on www.itmitte.de
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Working hours
Shift work
Job source

Tech stack

LangGraph Framework Artificial Intelligence Software Quality Continuous Integration DevOps Requirements Management Strategies of Testing Large Language Models CrewAI Machine Learning Operations Evaluation of Large Language Models

Job description

  • Du konzipierst und verantwortest agentische KI-Workflows entlang des gesamten Quality-Engineering-Lifecycles vom Anforderungsmanagement über Testdesign bis hin zu Testautomatisierung und Reporting.
  • Du entwickelst skalierbare Architekturen für Multi-Agenten-Systeme, definierst Agenten-Rollen, orchestrierst deren Zusammenarbeit und integrierst sie in bestehende Tool- und CI/CD-Landschaften.
  • Du übersetzt regulatorische Anforderungen wie den EU AI Act oder branchenspezifische Normen in nachvollziehbare, auditierbare Architektur- und Governance-Konzepte.
  • Du stellst die Qualität einzelner Agenten und kompletter Workflows durch Evals, Guardrails, End-to-End-Tests sowie Monitoring und geeignete KPIs sicher.
  • Du entwickelst eigene Agentenlösungen und wiederverwendbare Referenzarchitekturen, die unseren Kunden einen sicheren und verlässlichen KI-Einsatz ermöglichen.
  • Du berätst Kunden auf Fach- und Managementebene, leitest Workshops und steuerst KI-Projekte gemeinsam mit Test-, Entwicklungs- und Fachteams.

Requirements

  • Du verfügst über mehrjährige Erfahrung in KI-, Automatisierungs- oder Digitalisierungsprojekten und hast agentische KI-Systeme bereits erfolgreich über die Prototypenphase hinaus umgesetzt.
  • Du bringst ein fundiertes Verständnis von Teststrategie, Testprozessen, Anforderungsmanagement und Software-Qualität mit und kennst die Herausforderungen moderner Quality-Engineering-Organisationen aus der Praxis.
  • Du hast Erfahrung in der Architektur von Multi-Agenten-Systemen und kennst Frameworks wie LangGraph, CrewAI oder vergleichbare Technologien.
  • Du verstehst, wie Qualität bei LLM-basierten Systemen sichergestellt wird: von Evals und Guardrails bis zum Umgang mit nicht-deterministischem Verhalten.
  • Du kennst regulatorische Anforderungen an KI-Systeme und kannst diese in praktikable technische Lösungen und Governance-Konzepte übersetzen.
  • Du kommunizierst souverän mit Kunden, erklärst komplexe KI-Themen verständlich und überzeugst durch eine strukturierte, qualitätsorientierte Arbeitsweise.

Nice to have:

  • Idealerweise bringst du zusätzlich Erfahrung mit LLM-Evaluation und Observability, DevOps-/LLMOps-Praktiken, Security für KI-Systeme oder Anforderungen regulierter Branchen mit.
  • Zertifizierungen wie ISTQB® CTFL, CT-AI oder CT-GenAI sind ein Plus.

Benefits & conditions

  • Offene Unternehmenskultur: Erlebe eine transparente und wertschätzende Kultur - gemeinsam mehr erreichen
  • Starte durch mit einer unbefristeten Festanstellung in einem innovativen, dynamisch wachsenden Unternehmen
  • Mentoring & Onboarding: Wir begleiten dich mit Mentoring und einem individuell abgestimmten Onboarding für deinen optimalen Start
  • Gestaltungsspielraum: Setze deine Ideen eigenverantwortlich um und präge das Miteinander und die Werte unseres Unternehmens
  • Flexibilität & Work-Life-Balance: Profitiere von mobilem und ortsunabhängigem Arbeiten sowie einem flexiblen Arbeitszeitmodell
  • Gesundheit und Wohlbefinden: Nutze vielfältige Gesundheits- und Fitnessangebote über unser Work-Life-Portal sowie die digitalen Gesundheits- und Vorsorgeleistungen unseres Partners heycare
  • Mehr für dich - dank Corporate Benefits: Profitiere von exklusiven Rabatten und attraktiven Angeboten über unser Corporate Benefit Portal
  • 30 Tage Urlaub: Genieße ausreichend Zeit für Erholung und Ausgleich.
  • Mitarbeitende werben Mitarbeitende: Empfehle neue Kolleg:innen und sichere dir attraktive Geldprämien für erfolgreiche Einstellungen
  • Vielfältige persönliche und fachliche Weiterentwicklungsmöglichkeiten, auch abteilungsübergreifend
  • Kooperation mit Krankenkassen zur Gesundheitsförderung: Profitiere von speziellen Programmen und Zuschüssen rund um deine Gesundheit
  • Mobil & nachhaltig unterwegs: Nutze unser Bikeleasing und lease dein Wunschfahrrad oder E-Bike zu attraktiven Konditionen
  • Freizeitausgleich: Gleiche Überstunden unkompliziert aus

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.itmitte.de
Prepare application

Good distractions

Loading talks and stories from around this role…