AI DevOps Engineer (all genders)
Role details
Job location
Tech stack
Job description
- Du betreibst unser self-hosted LiteLLM Gateway als zentralen Zugang zu LLMs (inkl. Key-, Budget- und Policy-Mechanismen) und entwickelst es gemeinsam mit uns weiter.
- Du integrierst die Azure AI Foundry in unser Plattformkonzept (Zugriffe, Observability, Governance), sodass Teams Agents und Modelle sauber in den Produktbetrieb bringen können.
- Du automatisierst und betreibst Anwendungen mit Hilfe von CI/CD-Praktiken und Infrastructure as Code (z. B. GitLab CI, Helm/ArgoCD), damit Änderungen reproduzierbar, auditierbar und schnell ausrollbar sind.
- Du etablierst Observability (Metrics/Logs/Tracing), SLOs und Incident-Prozesse für unsere KI-Services.
- Du unterstützt interne Nutzer*innen durch Templates, Runbooks und Self-Service, damit die Plattform einfach und sicher eingesetzt werden kann.
- Du entwickelst unsere AI Platform weiter, beispielsweise rund um MCP Server, Coding Tools und Agent Registry.
Requirements
- IT, KI und skalierbare technische Lösungen begeistern dich - besonders dann, wenn sie echten Mehrwert schaffen
- Du hast Erfahrung mit AI-Plattformen und -Tools wie AI Foundry, LiteLLM, Open WebUI oder n8n
- IaC-Praxis (idealerweise modulare, wiederverwendbare Bausteine)
- Erfahrung im Betrieb containerisierter Plattformen (Kubernetes) und im Aufbau von CI/CD
- LLMOps-Erfahrung, z. B. mit RAG-Systemen, Inference-Workloads, Drift-/Qualitätsmonitoring, Guardrails/Policies und Kostenmetriken
Benefits & conditions
Ein gutes Arbeitsumfeld ist uns sehr wichtig. Du kannst (und sollst) dir den Freiraum nehmen, deine Arbeit so zu gestalten, wie sie dir und deinen Stärken entspricht. Konkret heißt das, dass du Unterstützung bei deiner fachlichen und persönlichen Entwicklung bekommst. Hier eine kleine Auswahl unserer beliebtesten Benefits:
- Flexible Arbeitsorte und Arbeitszeiten
- Gesundheitsförderung mit eGym Wellpass, instahelp, Jobrad-Leasing und mehr
- Jobticket-Zuschuss: 80 % Übernahme des Deutschland-Tickets
About the company
AEB unterstützt mit ihrer Software die Prozesse von Industrie-, Dienstleistungs- und Handelsunternehmen in Logistik und Außenwirtschaft. Mehr als 5.000 Kunden weltweit nutzen die Lösungen für Versand, Transport, Lagermanagement, Verzollung, Importabwicklung, Exportabwicklung, Screening von Sanktionslisten sowie zur Exportkontrolle. Das AEB-Portfolio reicht von schnell einsetzbaren Softwareprodukten aus der Cloud bis hin zur passgenauen, dabei aber hochadaptiven Logistikplattform.
Seit mehr als 35 Jahren befindet sich AEB auf Wachstumskurs – auch international. Seinen Hauptsitz hat das Unternehmen in Stuttgart, Geschäftsstellen in Hamburg, Düsseldorf, München und Soest sowie Entwicklungszentren in Mainz und Lübeck. International vertreten ist AEB in Großbritannien, Singapur, der Schweiz, Schweden, in den Niederlanden, Tschechien und in den USA.