> Markdown version of [/jobs/ext/4021581-lead-private-ai-architect-genai-llm-enterprise-ai-platforms](https://www.wearedevelopers.com/jobs/ext/4021581-lead-private-ai-architect-genai-llm-enterprise-ai-platforms). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Lead Private AI Architect - GenAI, LLM & Enterprise AI Platforms

- **Company:** NTT DATA Deutschland GmbH
- **Location:** Munchen, Germany (Remote available)
- **Experience:** Expert
- **Contract:** Permanent contract
- **Skills:** Artificial Intelligence, Cloud Computing, Nvidia CUDA, Databases, Information Engineering, Identity and Access Management, OpenShift, Role-Based Access Control, Zero Trust Network Access, Haystack, Autoscaling, Retrieval-Augmented Generation, Open-source Models, Large Language Models, Prompt Engineering, Qwen, Llamaindex, Containerization, Kubernetes, Information Technology, Ollama, Machine Learning Operations, Semantic Kernel, Docker, KServe
- **Published:** October 30, 2026
- **Apply:** https://www.itbbb.de/jobs/308774/lead-private-ai-architect-w-slash-m-slash-x-genai-llm-and-enterprise-ai-platforms-im-home-office#apply_form

## About the Role

* Du verfügst über 15+ Jahre IT-Erfahrung, davon mindestens 5 Jahre in AI/ML-Architektur, und hast Enterprise-AI-/GenAI-Lösungen in Private-Cloud-, On-Premises- oder Hybrid-Umgebungen erfolgreich umgesetzt.
 * Du besitzt tiefgehende Expertise in LLMs, RAG, Vector Databases, Prompt Engineering und Agentic AI und kennst Frameworks wie LangChain, LlamaIndex, Haystack oder Semantic Kernel sowie Open-Source-Modelle wie Llama, Mistral, DeepSeek oder Qwen.
 * Du beherrschst Kubernetes, Docker/OpenShift sowie MLOps/LLMOps und kennst Technologien wie MLflow, Kubeflow, KServe, Ray, vLLM oder Ollama sowie die Anforderungen an Evaluation, Tracing, Monitoring, Drift Detection und produktiven AI-Betrieb.
 * Du verstehst GPU- und AI-Infrastrukturen einschließlich NVIDIA Stack, CUDA, MIG, Model Serving, Quantisierung, Batching, Autoscaling, Distributed Inference/Training sowie Capacity Planning und kannst Performance, Latenz und Verfügbarkeit gezielt optimieren.
 * Du verbindest Architekturkompetenz mit einem ausgeprägten Verständnis für Security, Privacy und Sovereign AI - von Zero Trust, IAM/RBAC und Verschlüsselung bis zu Data Residency und Regulatory Compliance - und überzeugst durch starke Stakeholder- und Beratungskompetenz sowie Deutschkenntnisse auf mindestens C1-Niveau.

Mit uns hast du unzählige Möglichkeiten, groß zu denken, mutig zu handeln und Verantwortung zu übernehmen. Gestalte deine Zukunft in einer Kultur, die Zugehörigkeit lebt und dir Raum für Lernen und Networking gibt.

## Description

* Du konzipierst Enterprise Private AI- und GenAI-Plattformen und entwickelst High-Level- und Low-Level-Designs, Blueprints sowie Referenzarchitekturen für On-Premises-, Private-Cloud-, Hybrid- und Sovereign-AI-Umgebungen.
 * Du entwirfst leistungsfähige LLM-, RAG- und Agentic-AI-Architekturen auf Basis von Open-Source- und Self-hosted-Technologien und gestaltest skalierbare Inference-Architekturen für Enterprise-AI-Workloads.
 * Du bringst AI-Plattformen mit Kubernetes, Containerisierung und MLOps/LLMOps in die Produktion und gestaltest den gesamten Lifecycle von Deployment und Evaluation bis zu Monitoring und Governance.
 * Du begleitest unsere Kunden als Trusted Advisor bei AI-Strategie, Plattformmodernisierung, Infrastructure Readiness und AI Operating Models und treibst POCs, MVPs und Enterprise-AI-Initiativen voran.
 * Du verbindest AI, Infrastruktur, Cloud, Security und Data Engineering und übernimmst Verantwortung für RFPs, Angebote und Aufwandsschätzungen sowie wiederverwendbare Private-AI-Frameworks und Accelerators., Mobile phone/surf stickFlexible working hoursHome office options or remote workSabbatical opportunitiesWorkationHealth careFitness studioInfrastructure for maintaining health in the workplacePrivate accident insuranceTraining and development opportunitiesE-learning / learning platformsJob ticketCompany parking spaceSoft drinks, coffee, water, tea, milkSubsidies for public transportationBicycle leasing (Jobrad)Job bicycle (leasing, purchase + depreciation)Company carCompany pension schemeEmployee referral bonusInnovation bonus
Technical Consulting, ITbbb.de, Empfehlungsbund
Open to applicants from the following countries for full remote employment:
Germany