> Markdown version of [/jobs/ext/3568387-ki-devops-architekt](https://www.wearedevelopers.com/jobs/ext/3568387-ki-devops-architekt). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# KI & DevOps Architekt

- **Company:** Deutsche Telekom AG
- **Location:** München, Germany
- **Salary:** €60,000.0 - €85,000.0
- **Contract:** Permanent contract
- **Skills:** Java (Programming Language), Artificial Intelligence, Cloud Computing, Continuous Integration, DevOps, Spring Framework, Python (Programming Language), Open Source Technology, Ansible, Prometheus, Software Engineering, Qdrant, Chatbots, Software Distribution, Retrieval-Augmented Generation, Large Language Models, Grafana, Pgvector, Containerization, LangSmith, Kubernetes, Information Technology, Bare Metal, Milvus, Terraform
- **Published:** October 3, 2026
- **Apply:** https://www.arbeitsagentur.de/jobsuche/jobdetail/20478-2293539-S

## About the Role

Abgeschlossenes Studium mit dem Schwerpunkt IT (z.B. Informatik, Wirtschaftsinformatik, Data Science, Mathematik) bzw. eine vergleichbare Ausbildung

 - Softwareentwicklung & KI-Frameworks: Tiefgehende, praxiserprobte Programmiererfahrung wahlweise im Python-Ökosystem (inklusive LangChain) ODER in der Java-Entwicklung (speziell mit Spring AI)
 - LLMs & RAG-Architekturen: Sehr gute Kenntnisse im Umgang mit Open-Source-Sprachmodellen, der Modell-Inference (vLLM) sowie dem Aufbau von Retrieval-Augmented Generation (RAG) Pipelines inklusive der Anbindung von Vektordatenbanken (z. B. Qdrant, Milvus oder pgvector)
 - Kubernetes & Containerisierung: Fundierte Praxis in der Architektur, Skalierung und Optimierung von Applikationen auf Kubernetes-Clustern sowie im generellen Container-Management
 - DevOps & Infrastruktur-Automatisierung: Sicherer Umgang mit Infrastructure as Code (z. B. Terraform, Ansible) sowie etablierte Erfahrung mit CI/CD-Pipelines und GitOps-Ansätzen (insbesondere ArgoCD)
 - Souveräner Betrieb & Hardware: Praktische Erfahrung im GPU-Management und dem sicheren Deployment von Anwendungen in souveränen Infrastrukturen (On-Premise, Bare-Metal oder Open Telekom Cloud)
 - Monitoring & Observability: Know-how im Aufbau eines ganzheitlichen und performanten Monitorings sowohl für die Systeminfrastruktur (Prometheus, Grafana) als auch für die KI-Modelle (z. B. LangSmith)

## Description

Architektur & Lösungsdesign: Du übersetzt B2B-Kundenanforderungen in skalierbare KI-Architekturen (insbesondere für RAG-Chatbots) und verantwortest das Design von der ersten Idee bis zum Rollout

 - Technische Leitung: Du übernimmst die technologische Steuerung der KI-Projekte, berätst unsere Kunden auf Augenhöhe und leitest interdisziplinäre Entwickler-Teams fachlich an
 - Hands-on Lösungsentwicklung: Du gestaltest die Softwareentwicklung aktiv mit und bringst Deine tiefgreifende Programmiererfahrung direkt bei der Umsetzung der KI-Anwendungen ein
 - Souveräner KI-Betrieb: Du konzipierst den sicheren und datenschutzkonformen Betrieb abseits der Hyperscaler (On-Premise oder Open Telekom Cloud) und verantwortest das Ressourcen-Management
 - Modell-Evaluierung: Du bewertest kontinuierlich das Ökosystem der Open-Source-Sprachmodelle und wählst technologisch sowie wirtschaftlich fundiert die passenden Modelle für die Kunden-Use-Cases aus
 - DevOps & Observability: Du verankerst moderne Automatisierungs\- und Deployment-Praktiken im Projektalltag und etablierst ein durchgängiges Monitoring für Infrastruktur und Modell-Performance

### Das bringst du in den Bereichen DevOps & Künstliche Intelligenz mit


## Related Videos

- [Next Level Enterprise Architecture: Modular, Flexible, Scalable, Multichannel and AI-Ready?](https://www.wearedevelopers.com/videos/1017-next-level-enterprise-architecture-modular-flexible-scalable-multichannel-and-ai-ready)
- [The Retrieval Layer for Edge AI](https://www.wearedevelopers.com/videos/100033-the-retrieval-layer-for-edge-ai)
- [Shifting Stress to Progress— Understanding DevOps to do DevOps Better](https://www.wearedevelopers.com/videos/268-shifting-stress-to-progress-understanding-devops-to-do-devops-better)
- [What comes after ChatGPT? Vector Databases - the Simple and powerful future of ML?](https://www.wearedevelopers.com/videos/830-what-comes-after-chatgpt-vector-databases-the-simple-and-powerful-future-of-ml)
- [DevOps for AI: running LLMs in production with Kubernetes and KubeFlow](https://www.wearedevelopers.com/videos/1222-devops-for-ai-running-llms-in-production-with-kubernetes-and-kubeflow)
- [AI Vector Search at Scale - Ewa Szyszka - Ewa Szyszka](https://www.wearedevelopers.com/videos/2161-ai-vector-search-at-scale-ewa-szyszka-ewa-szyszka)

## Related Articles

- [The Biggest German Tech Companies](https://www.wearedevelopers.com/magazine/424-the-biggest-german-tech-companies)
- [System change: restart as developer?](https://www.wearedevelopers.com/magazine/39-system-change-restart-as-developer)
- [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany)
- [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market)
- [IT Salaries in Germany](https://www.wearedevelopers.com/magazine/287-it-salaries-in-germany)
- [How We Built a Worry-Free System That Runs for 10+ Years – And What We’d Do Again](https://www.wearedevelopers.com/magazine/751-how-we-built-a-worry-free-system-that-runs-for-10-years-and-what-we-d-do-again)