> Markdown version of [/jobs/ext/4136074-lead-private-ai-architect-genai-llm-enterprise-ai-platforms](https://www.wearedevelopers.com/jobs/ext/4136074-lead-private-ai-architect-genai-llm-enterprise-ai-platforms). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Lead Private AI Architect - GenAI, LLM & Enterprise AI Platforms

- **Company:** NTT DATA Deutschland GmbH
- **Location:** Erfurt, Germany (Remote available)
- **Experience:** Expert
- **Contract:** Permanent contract
- **Skills:** Artificial Intelligence, Cloud Computing, Nvidia CUDA, Databases, Information Engineering, Identity and Access Management, Open Source Technology, OpenShift, Role-Based Access Control, Zero Trust Network Access, Haystack, Autoscaling, LangChain, Retrieval-Augmented Generation, Open-source Models, Large Language Models, Prompt Engineering, Qwen, Llamaindex, Agentic-AI, Containerization, Kubernetes, Information Technology, Ollama, Machine Learning Operations, Semantic Kernel, Docker, KServe
- **Published:** October 31, 2026
- **Apply:** https://www.careerjet.de/jobad/de8769dfc144d69ba93d58680628eb91a1

## About the Role

* Du verfügst über 15+ Jahre IT-Erfahrung, davon mindestens 5 Jahre in AI/ML-Architektur, und hast Enterprise-AI-/GenAI-Lösungen in Private-Cloud-, On-Premises- oder Hybrid-Umgebungen erfolgreich umgesetzt.
 * Du besitzt tiefgehende Expertise in LLMs, RAG, Vector Databases, Prompt Engineering und Agentic AI und kennst Frameworks wie LangChain, LlamaIndex, Haystack oder Semantic Kernel sowie Open-Source-Modelle wie Llama, Mistral, DeepSeek oder Qwen.
 * Du beherrschst Kubernetes, Docker/OpenShift sowie MLOps/LLMOps und kennst Technologien wie MLflow, Kubeflow, KServe, Ray, vLLM oder Ollama sowie die Anforderungen an Evaluation, Tracing, Monitoring, Drift Detection und produktiven AI-Betrieb.
 * Du verstehst GPU- und AI-Infrastrukturen einschließlich NVIDIA Stack, CUDA, MIG, Model Serving, Quantisierung, Batching, Autoscaling, Distributed Inference/Training sowie Capacity Planning und kannst Performance, Latenz und Verfügbarkeit gezielt optimieren.
 * Du verbindest Architekturkompetenz mit einem ausgeprägten Verständnis für Security, Privacy und Sovereign AI - von Zero Trust, IAM/RBAC und Verschlüsselung bis zu Data Residency und Regulatory Compliance - und überzeugst durch starke Stakeholder- und Beratungskompetenz sowie Deutschkenntnisse auf mindestens C1-Niveau.

## Description

* Du konzipierst Enterprise Private AI- und GenAI-Plattformen und entwickelst High-Level- und Low-Level-Designs, Blueprints sowie Referenzarchitekturen für On-Premises-, Private-Cloud-, Hybrid- und Sovereign-AI-Umgebungen.
 * Du entwirfst leistungsfähige LLM-, RAG- und Agentic-AI-Architekturen auf Basis von Open-Source- und Self-hosted-Technologien und gestaltest skalierbare Inference-Architekturen für Enterprise-AI-Workloads.
 * Du bringst AI-Plattformen mit Kubernetes, Containerisierung und MLOps/LLMOps in die Produktion und gestaltest den gesamten Lifecycle von Deployment und Evaluation bis zu Monitoring und Governance.
 * Du begleitest unsere Kunden als Trusted Advisor bei AI-Strategie, Plattformmodernisierung, Infrastructure Readiness und AI Operating Models und treibst POCs, MVPs und Enterprise-AI-Initiativen voran.
 * Du verbindest AI, Infrastruktur, Cloud, Security und Data Engineering und übernimmst Verantwortung für RFPs, Angebote und Aufwandsschätzungen sowie wiederverwendbare Private-AI-Frameworks und Accelerators.