LLM / AI Platform Architect

Infrastruktur Kubernetes Security Beratung KI-Plattformen Datenschutz Selbstständige Arbeitsweise, * Konzeption einer zentralen Plattform für LLM-Inference und weitere GPU-basierte KI-Workloads

• Entwicklung einer geeigneten Zielarchitektur für den produktiven On-Premise-Betrieb
• Planung und Bewertung von LLM-Serving- und Inference-Komponenten
• Definition von Betriebs-, Governance- und Bereitstellungsmodellen für die KI-Plattform
• Beratung bei der Auswahl geeigneter Open-Weight-Modelle, insbesondere für deutschsprachige Anwendungsfälle
• Bewertung von Anforderungen an GPU-Kapazitäten, deren Aufteilung und Nutzung
• Konzeption geeigneter Verfahren zur GPU-Segmentierung und Ressourcensteuerung
• Berücksichtigung von NVIDIA MIG sowie alternativen GPU-Sharing- und Scheduling-Ansätzen
• Begleitung der Integration der Plattform in bestehende Infrastruktur- und Betriebslandschaften
• Vorbereitung der technischen Anbindung bestehender dokumentenbasierter KI-Anwendungen
• Berücksichtigung von Datenschutz, Informationssicherheit, Datensouveränität und regulatorischen Anforderungen
• Abstimmung mit beteiligten Architektur-, Plattform- und Betriebsteams
• Erstellung technischer Konzepte, Entscheidungsgrundlagen und Betriebsdokumentationen

• Mehrjährige Erfahrung als Architekt im Umfeld von LLM-, GenAI- oder Model-Inference-Plattformen
• Nachweisbare Erfahrung mit dem produktiven Betrieb von LLM-/KI-Lösungen
• Sehr gute Kenntnisse in der Architektur GPU-basierter KI-Infrastrukturen
• Erfahrung mit On-Premise-Umgebungen und idealerweise Projekten im regulierten bzw. öffentlichen Umfeld
• Fundierte Kenntnisse zu Betriebs- und Governance-Modellen für KI-Plattformen
• Erfahrung bei der Bewertung und Auswahl leistungsfähiger Open-Weight-Modelle
• Erfahrung im Umfeld dokumentenbezogener KI-Verarbeitung
• Praktische Kenntnisse mit Tesseract, trOCR und ABBYY FlexiCapture
• Verständnis für GPU-Ressourcenmanagement, Segmentierung und Scheduling
• Kenntnisse relevanter Container-, Kubernetes- und AI-Plattform-Technologien
• Verständnis für IT-Betriebsprozesse sowie Datenschutz- und Security-Anforderungen
• Sehr gute Kommunikations- und Beratungskompetenz
• Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln
• Sicheres Arbeiten in interdisziplinären Teams