AI Platform Engineer

• Entwicklung und Betrieb unserer AI-Plattform: Azure Container Apps, Terraform, GitLab CI/CD, PostgreSQL, Blob Storage, Key Vault und Entra ID
• Automatisierung von Monitoring und Alerting, Definition von SLOs sowie Verantwortung für Incident Response und Deployments
• Umsetzung von Security- und Identity-Konzepten: Managed Identities, Least-Privilege-Zugriffe, Secret Management und Network Controls gemäß unseren Compliance-Anforderungen
• Betrieb und Weiterentwicklung des LLM-Gateways: zentraler Modellzugriff, Routing zwischen Providern und selbst betriebenen Modellen sowie Optimierung von Qualität, Latenz, Zuverlässigkeit und Kosten
• Aufbau von AI-Observability und Evaluation: LLM-Tracing, Evaluationspipelines und Golden Datasets zur messbaren Qualitätssicherung und Erkennung von Regressionen
• Entwicklung und Weiterentwicklung der RAG-Infrastruktur: Dokumenten-Ingestion und -Parsing, Chunking und Embeddings, PostgreSQL Vector Search und APIs
• Konzeption und Umsetzung neuer Plattform-Features: Knowledge-Source-Onboarding, Evaluation und Retrieval-Funktionen von der Idee bis zur Produktion
• Weiterentwicklung der Plattform als Produkt: klare APIs und Contracts, Dokumentation und Onboarding für Produktteams
• Evidence-first Engineering: messbare, getestete und reproduzierbare Änderungen - jeder Fix beginnt mit einem fehlgeschlagenen Test

• Mind. 2 Jahre Erfahrung in Software- und Platform Engineering, idealerweise mit eigener Verantwortung für produktive Systeme
• Fundierte Erfahrung mit Cloud-Infrastruktur und Infrastructure as Code, vorzugsweise Azure und Terraform
• Gute Kenntnisse in PostgreSQL, APIs, Authentication und Identity (OAuth2/OIDC; Entra ID von Vorteil)
• Praktische Erfahrung mit CI/CD, Observability, Monitoring, Alerting und Incident Handling
• Sicherer Umgang mit Python und/oder TypeScript sowie Erfahrung mit typisierten und gut getesteten Codebasen
• Erfahrung mit AI-Plattform-Komponenten wie LLM-Gateways, Model Serving, selbst betriebenen Open-Weight-Modellen, LLM-Observability, RAG oder LLM-Evaluation ist von Vorteil. Deep-ML-Research ist nicht erforderlich
• Erfahrung mit agentischen Coding-Tools wie Claude Code oder Codex ist von Vorteil
• Systems-Engineering-Denkweise: Qualität wird gemessen statt geschätzt; deterministische Lösungen haben Vorrang vor cleveren Prompts
• Sehr gute Englischkenntnisse, Deutschkenntnisse von Vorteil
• Teamfähigkeit, Freude an kontinuierlichem Lernen und Wissensaustausch

Das monatliche Mindestbruttoentgelt für diese Position beträgt EUR 4.200,00 (KV IT) auf Vollzeitbasis. Eine deutliche Überzahlung ist abhängig von Qualifikation und Berufserfahrung möglich.