> Markdown version of [/jobs/ext/3564893-devops-engineer-ai-llmops](https://www.wearedevelopers.com/jobs/ext/3564893-devops-engineer-ai-llmops). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# DevOps Engineer - AI / LLMOps

- **Company:** SOMI Solutions GmbH
- **Location:** Frankfurt am Main, Germany
- **Experience:** Experienced
- **Contract:** Permanent contract
- **Skills:** Agile Methodology, Artificial Intelligence, Automation of Tests, Cyber Security, Continuous Integration, DevOps, Data Logging, Large Language Models, Software Security, Machine Learning Operations
- **Published:** October 3, 2026
- **Apply:** https://jobs.meinestadt.de/frankfurt-am-main/standard?id=260314394

## About the Role

* 3 Jahre Erfahrung mit Implementierung und Wartung von AI-Architekturen
 * Praktische Erfahrung in der Fullstack-Entwicklung und Zusammenarbeit mit Softwareentwicklern
 * CI/CD und LLMOps
 * Prompt-/Model Registry, Evaluation Pipelines, Tracing und Feedback Loops
 * Erfahrung im Bereich AI Security , insbesondere Threat Modeling und Abuse-Case-Analyse
 * Prompt Injection, Datenexfiltration und Tool Abuse
 * Skripten und Automatisierungstools
 * C2-Niveau
Von Vorteil:

 * Erfahrung in der Dokumentation von Prozessen, Systemen und Anwendungen
 * Evaluierung und Einführung neuer DevOps-Technologien und -Tools
 * Erfahrung mit Observability : Logging, Metrics, Tracing, SLOs und Telemetrie
 * Kenntnisse in Zugriffssteuerung, Angriffserkennung und Cyber-Security
 * Erfahrung mit agilen Methoden, Continuous Integration/Delivery und Testautomatisierung
Sprachanforderungen

 * Deutsch: Verhandlungssicher
 * Englisch: Erweiterte Kenntnisse

## Description

API
Security
Compliance
BenchMarking
Berufserfahrung
Test Automation
Englisch
Automated Testing
Analyse
Automation Testing
Cyber-Security
DevOps
Continuous Integration
Datenschutz
Automatisierung
Deutsch
Verhandlungsgeschick, Für ein spannendes Projekt im Umfeld einer KI-gestützten Datenqualitätslösung suchen wir einen erfahrenen DevOps Engineer (m/w/d) mit Schwerpunkt auf AI-Architekturen, LLMOps, CI/CD und IT-Security.

Ziel des Projekts ist die Weiterentwicklung und produktionsreife Bereitstellung einer KI-basierten Anwendung zur automatisierten Messung und Sicherstellung von Datenqualität., * Analyse und Weiterentwicklung einer bestehenden KI-/AI-Architektur hinsichtlich Skalierbarkeit, Integration und Betriebsfähigkeit

 * Umsetzung von Maßnahmen für eine produktionsreife AI-Lösung , einschließlich Architektur-Hardening und API-Integration
 * IT-Sicherheits-, Governance-, Datenschutz- und Compliance-Anforderungen
 * CI/CD-Pipelines mit Fokus auf LLMOps
 * Aufbau und Nutzung von Prompt-/Model Registries, Evaluation Pipelines, Tracing und Feedback Loops
 * Durchführung von Threat Modeling und Abuse-Case-Analysen , insbesondere hinsichtlich Prompt Injection, Tool Abuse, sensibler Daten und Datenexfiltration
 * Automatisierung wiederkehrender Prozesse
 * Benchmarking und Bewertung von KI-Modellen hinsichtlich Qualität, Performance, Kosten und Robustheit
 * Monitoring von Systemen und Anwendungen mittels Logging, Metrics, Tracing und LLM-/Agent-Telemetrie
 * Unterstützung bei Incident Handling, Recovery und Betriebsübergaben


## Related Videos

- [Shifting Stress to Progress— Understanding DevOps to do DevOps Better](https://www.wearedevelopers.com/videos/268-shifting-stress-to-progress-understanding-devops-to-do-devops-better)
- [Crypto-secure Data Management with In-Database Blockchain](https://www.wearedevelopers.com/videos/632-crypto-secure-data-management-with-in-database-blockchain)
- [Thinking Differently - How to Make Money from Cyber Attacks & Cheats](https://www.wearedevelopers.com/videos/745-thinking-differently-how-to-make-money-from-cyber-attacks-cheats)
- [DevOps for Machine Learning](https://www.wearedevelopers.com/videos/179-devops-for-machine-learning)
- [DevOps for AI: running LLMs in production with Kubernetes and KubeFlow](https://www.wearedevelopers.com/videos/1222-devops-for-ai-running-llms-in-production-with-kubernetes-and-kubeflow)
- [From DevOps to Scaled DevOps: How We’re Rebuilding Continuous Delivery as a Platform](https://www.wearedevelopers.com/videos/100018-from-devops-to-scaled-devops-how-we-re-rebuilding-continuous-delivery-as-a-platform)

## Related Articles

- [MLOps – What’s the deal behind it?](https://www.wearedevelopers.com/magazine/125-mlops-what-s-the-deal-behind-it)
- [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany)
- [Finding Jobs in Germany](https://www.wearedevelopers.com/magazine/375-finding-jobs-in-germany)
- [MLOps And AI Driven Development](https://www.wearedevelopers.com/magazine/82-mlops-and-ai-driven-development)
- [MLops – Deploying, Maintaining And Evolving Machine Learning Models in Production](https://www.wearedevelopers.com/magazine/115-mlops-deploying-maintaining-and-evolving-machine-learning-models-in-production)
- [Dev Digest 121 - AI goes offline](https://www.wearedevelopers.com/magazine/456-dev-digest-121-ai-goes-offline)