> Markdown version of [/jobs/ext/3811414-intermediate-cloud-ai-llmops-engineer](https://www.wearedevelopers.com/jobs/ext/3811414-intermediate-cloud-ai-llmops-engineer). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Intermediate Cloud AI & LLMOps Engineer

- **Company:** BCM Solutions GmbH
- **Location:** Stuttgart, Germany (Remote available)
- **Experience:** Experienced
- **Contract:** Permanent contract
- **Skills:** Artificial Intelligence, Amazon Web Services, Microsoft Azure, Cloud Computing, Continuous Integration, DevOps, Enterprise Data Management, Google Cloud, Cloud Platform System, Large Language Models, Caching, HybridCloud, Infrastructure as Code (IaC), LangSmith, Kubernetes, Azure OpenAI API, Arize Phoenix, Machine Learning Operations, Terraform, Docker
- **Published:** October 18, 2026
- **Apply:** https://www.careerjet.de/jobad/de1d4b5a0b432a9c69118b1b29572120ee

## About the Role

mitbringst:
Sehr gute Kenntnisse

 * Konzeption, Aufbau und Betrieb von LLMOps-Pipelines (z. B. Deployment, Monitoring, Evaluation und Tracing mit LangSmith oder Arize Phoenix).
 * Cloud-Plattformen (Azure, AWS oder GCP) und deren spezifischen KI-Diensten (z. B. Azure OpenAI Service, AWS Bedrock).
 * DevOps-Tools zur Container-Orchestrierung (Docker, Kubernetes) und dem Entwurf von CI/CD-Pipelines.

Solide Kenntnisse

 * Infrastructure as Code (IaC) mit Tools wie Terraform.
 * Konzepte zur Inferenz-Optimierung (Quantisierung, Caching) und Kostenkontrolle (AI FinOps).
 * Sicherheits- und Compliance-Standards im Umgang mit Unternehmensdaten in Cloud-Umgebungen.

Persönlich

 * Systemisches Denken: Du behältst die Systemstabilität, Skalierbarkeit und Kosteneffizienz von Infrastrukturen immer im Blick.
 * Kommunikationsstärke: Du agierst souverän und verständlich als Bindeglied zwischen der KI-Software-Entwicklung und dem IT-Betrieb unserer Kunden.
 * Deutsch (sehr gut) und Englisch (gut) sowie ein abgeschlossenes IT-Studium oder eine

## Description

LLMOps-Infrastruktur: Du entwirfst und betreibst stabile Pipelines für das Deployment, das Monitoring und das Tracing von LLMs (z. B. mit LangSmith oder Arize Phoenix).

 * Inferenz-Optimierung: Du optimierst die Performance und Latenz von Modellen in der Produktion durch Techniken wie Quantisierung.
 * Enterprise Cloud Integration: Du bindest Cloud-AI-Dienste (wie Azure OpenAI Service oder AWS Bedrock) nahtlos an bestehende Enterprise-Infrastrukturen an.