> Markdown version of [/jobs/ext/1235223-ki-devops-architekt](https://www.wearedevelopers.com/jobs/ext/1235223-ki-devops-architekt). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# KI & DevOps Architekt

- **Company:** Deutsche Telekom AG
- **Location:** Berlin, Germany
- **Salary:** €60,000.0 - €85,000.0
- **Contract:** Permanent contract
- **Skills:** Java (Programming Language), Artificial Intelligence, Cloud Computing, Continuous Integration, DevOps, Spring Framework, Open Source Technology, Ansible, Prometheus, Software Engineering, Large Language Models, Grafana, Containerization, Kubernetes, Information Technology, Bare Metal, Terraform
- **Published:** July 11, 2026
- **Apply:** https://de.indeed.com/viewjob?jk=80dd16cdae36bc3b

## About the Role

* Abgeschlossenes Studium mit dem Schwerpunkt IT (z.B. Informatik, Wirtschaftsinformatik, Data Science, Mathematik) bzw. eine vergleichbare Ausbildung
 * Softwareentwicklung & KI-Frameworks: Tiefgehende, praxiserprobte Programmiererfahrung wahlweise im Python-Ökosystem (inklusive LangChain) ODER in der Java-Entwicklung (speziell mit Spring AI)
 * LLMs & RAG-Architekturen: Sehr gute Kenntnisse im Umgang mit Open-Source-Sprachmodellen, der Modell-Inference (vLLM) sowie dem Aufbau von Retrieval-Augmented Generation (RAG) Pipelines inklusive der Anbindung von Vektordatenbanken (z. B. Qdrant, Milvus oder pgvector)
 * Kubernetes & Containerisierung: Fundierte Praxis in der Architektur, Skalierung und Optimierung von Applikationen auf Kubernetes-Clustern sowie im generellen Container-Management
 * DevOps & Infrastruktur-Automatisierung: Sicherer Umgang mit Infrastructure as Code (z. B. Terraform, Ansible) sowie etablierte Erfahrung mit CI/CD-Pipelines und GitOps-Ansätzen (insbesondere ArgoCD)
 * Souveräner Betrieb & Hardware: Praktische Erfahrung im GPU-Management und dem sicheren Deployment von Anwendungen in souveränen Infrastrukturen (On-Premise, Bare-Metal oder Open Telekom Cloud)
 * Monitoring & Observability: Know-how im Aufbau eines ganzheitlichen und performanten Monitorings sowohl für die Systeminfrastruktur (Prometheus, Grafana) als auch für die KI-Modelle (z. B. LangSmith)

## Description

* Architektur & Lösungsdesign: Du übersetzt B2B-Kundenanforderungen in skalierbare KI-Architekturen (insbesondere für RAG-Chatbots) und verantwortest das Design von der ersten Idee bis zum Rollout
 * Technische Leitung: Du übernimmst die technologische Steuerung der KI-Projekte, berätst unsere Kunden auf Augenhöhe und leitest interdisziplinäre Entwickler-Teams fachlich an
 * Hands-on Lösungsentwicklung: Du gestaltest die Softwareentwicklung aktiv mit und bringst Deine tiefgreifende Programmiererfahrung direkt bei der Umsetzung der KI-Anwendungen ein
 * Souveräner KI-Betrieb: Du konzipierst den sicheren und datenschutzkonformen Betrieb abseits der Hyperscaler (On-Premise oder Open Telekom Cloud) und verantwortest das Ressourcen-Management
 * Modell-Evaluierung: Du bewertest kontinuierlich das Ökosystem der Open-Source-Sprachmodelle und wählst technologisch sowie wirtschaftlich fundiert die passenden Modelle für die Kunden-Use-Cases aus
 * DevOps & Observability: Du verankerst moderne Automatisierungs- und Deployment-Praktiken im Projektalltag und etablierst ein durchgängiges Monitoring für Infrastruktur und Modell-Performance


## Related Videos

- [Next Level Enterprise Architecture: Modular, Flexible, Scalable, Multichannel and AI-Ready?](https://www.wearedevelopers.com/videos/1017-next-level-enterprise-architecture-modular-flexible-scalable-multichannel-and-ai-ready)
- [Dev & Test in the Cloud? Deploy your cloud environments with Ansible & Terraform](https://www.wearedevelopers.com/videos/1607-dev-test-in-the-cloud-deploy-your-cloud-environments-with-ansible-terraform)
- [5 steps for running a Kubernetes environment at scale](https://www.wearedevelopers.com/videos/88-5-steps-for-running-a-kubernetes-environment-at-scale)
- [From DevOps to Scaled DevOps: How We’re Rebuilding Continuous Delivery as a Platform](https://www.wearedevelopers.com/videos/100018-from-devops-to-scaled-devops-how-we-re-rebuilding-continuous-delivery-as-a-platform)
- [DevOps for AI: running LLMs in production with Kubernetes and KubeFlow](https://www.wearedevelopers.com/videos/1222-devops-for-ai-running-llms-in-production-with-kubernetes-and-kubeflow)
- [#90DaysOfDevOps - The DevOps Learning Journey](https://www.wearedevelopers.com/videos/548-90daysofdevops-the-devops-learning-journey)

## Related Articles

- [The Biggest German Tech Companies](https://www.wearedevelopers.com/magazine/424-the-biggest-german-tech-companies)
- [System change: restart as developer?](https://www.wearedevelopers.com/magazine/39-system-change-restart-as-developer)
- [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market)
- [IT Salaries in Germany](https://www.wearedevelopers.com/magazine/287-it-salaries-in-germany)
- [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany)
- [Top-Paying Tech Jobs (with Salaries)](https://www.wearedevelopers.com/magazine/372-top-paying-tech-jobs-with-salaries)