> Markdown version of [/jobs/ext/3982026-ai-inference-engineer-llm-plattformen-all-genders](https://www.wearedevelopers.com/jobs/ext/3982026-ai-inference-engineer-llm-plattformen-all-genders). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# AI Inference Engineer LLM Plattformen (all genders)

- **Company:** EXXETA AG
- **Location:** Karlsruhe, Germany
- **Contract:** Permanent contract
- **Skills:** Artificial Intelligence, Cloud Computing, Continuous Integration, Linux, DevOps, Machine Learning, Data Logging, Large Language Models, Kubernetes, SGLang, Machine Learning Operations, VLLM, Terraform, Docker
- **Published:** October 28, 2026
- **Apply:** https://www.adzuna.de/details/5944742335

## About the Role

* Kommunikation & Arbeitsweise: Du vermittelst komplexe technische Zusammenhänge verständlich, arbeitest pragmatisch und bewegst dich auch in dynamischen Projektumfeldern sicher.
 * Pluspunkt: Erfahrung mit vLLM, SGLang oder vergleichbaren Inference-Technologien, GPU-Clustern, souveränen Cloud- oder Private-Cloud-Umgebungen.
 * On the road: Du bist reisebereit und flexibel, unsere Kunden bundesweit vor Ort zu beraten.
 * Let's talk: Du sprichst fließend Deutsch und Englisch - super, dann findest du dich bei Exxeta bestens zurecht

## Description

* Persönlicher Background: Erfahrung in Platform Engineering, Cloud Infrastructure, MLOps, LLMOps, DevOps, Backend Engineering oder Machine Learning Engineering. Entscheidend ist deine Erfahrung im Aufbau und Betrieb produktiver Systeme und dein Antrieb zu schneller persönlicher Weiterentwicklung
 * Inference Engineering: Du verstehst die technischen und wirtschaftlichen Zusammenhänge moderner LLM-Inferenz, von Model-Serving und GPU-Auslastung über Quantisierung, Batching und KV-Cache-Management bis hin zu Latenz, Durchsatz und Kosten.
 * Cloud & Plattformen: Docker, Kubernetes, Helm, Terraform, CI/CD, Linux sowie Observability gehören für dich zum Arbeitsalltag.
 * AI-Verständnis: Du kannst Transformer-basierte Modelle wie LLMs und Embeddings einordnen und fundierte technische Entscheidungen für produktive AI-Systeme treffen.
 * Security & Governance: Themen wie Identitäten, Berechtigungen, Secrets, Logging, Auditierung und Compliance denkst du, insbesondere in regulierten Umgebungen, von Anfang an mit.