> Markdown version of [/jobs/ext/2503474-testki-engineer-in-all-genders-llm-infrastruktur-und-ki-plattform](https://www.wearedevelopers.com/jobs/ext/2503474-testki-engineer-in-all-genders-llm-infrastruktur-und-ki-plattform). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # testKI-Engineer*in (all genders) - LLM-Infrastruktur und KI-Plattform - **Company:** Fraunhofer-Gesellschaft - **Location:** Erlangen, Germany - **Experience:** Starter - **Contract:** Temporary contract - **Skills:** Application Programming Interfaces (APIs), Artificial Intelligence, Amazon Web Services, User Authentication, Microsoft Azure, Cloud Computing, Cyber Security, Computer Programming, Continuous Integration, Software Debugging, Internet Information Services (IIS), Python (Programming Language), Management of Software Versions, AI Infrastructure, Data Logging, Cloud Platform System, Large Language Models, Prompt Engineering, Kubernetes, Information Technology, Machine Learning Operations, Docker - **Published:** August 31, 2026 - **Apply:** https://jobs.fraunhofer.de/talentcommunity/apply/1431794533/?locale=de_DE ## About the Role * Ein abgeschlossenes Studium der Informatik oder einer vergleichbaren Fachrichtung. * Praktische Erfahrung im Umgang mit Large Language Models (LLMs) und modernen KI-Technologien. * Sehr gute Programmierkenntnisse, idealerweise in Python, sowie Erfahrung in der Nutzung und Anbindung von APIs und im technischen Debugging. * Erfahrung mit Docker und Kubernetes sowie mit Cloud-Plattformen wie AWS und/oder Azure. * Kenntnisse in RAG-Architekturen und im Umgang mit Vektordatenbanken, beispielsweise FAISS, Qdrant oder Weaviate, sind von Vorteil. * Erfahrung mit API- und Gateway-Technologien, beispielsweise REST, LiteLLM oder Kong, ist wünschenswert. * Ein ausgeprägtes Bewusstsein für Informationssicherheit und Datenschutz sowie die Bereitschaft, diese Anforderungen bei der Entwicklung und dem Betrieb von KI-Lösungen konsequent zu berücksichtigen. * Ausgeprägte Kommunikations- und Beratungskompetenz sowie Freude an der Zusammenarbeit mit Forschungsgruppen und dem Informationssicherheitsbeauftragten (ISB). * Eine selbstständige, strukturierte und lösungsorientierte Arbeitsweise, Eigeninitiative und die Bereitschaft, Verantwortung für neue Themenfelder zu übernehmen. * Offenheit für neue Technologien und die Fähigkeit, sich flexibel auf die dynamische Entwicklung im Bereich Künstliche Intelligenz und Large Language Models einzustellen. * Sehr gute Deutsch- und Englischkenntnisse in Wort und Schrift. Die Position ist auch für Berufsanfänger*innen mit entsprechenden Vorkenntnissen und Erfahrungen aus Praktika, Studien- oder Abschlussarbeiten geeignet. ## Description Die Abteilung IT-Services stellt eine leistungsfähige und sichere IT-Infrastruktur für die Forschungs- und Verwaltungsbereiche des Instituts bereit. Im Zuge der zunehmenden Nutzung Künstlicher Intelligenz bauen sie ihre zentralen KI-Services kontinuierlich aus und schaffen die technischen Voraussetzungen für einen sicheren und effizienten Einsatz moderner KI-Technologien am Fraunhofer IIS. * KI-Infrastruktur betreiben und weiterentwickeln: Sie betreiben das IIS-zentrale LLM-Gateway, provisionieren LLM-Endpunkte in Cloud-Umgebungen wie AWS Bedrock und Azure sowie lokal und stellen den zuverlässigen Betrieb lokaler RAG-Systeme sicher. * KI-Services sicher bereitstellen: Sie wählen geeignete LLM-Endpunkte aus und ordnen diese in Abstimmung mit dem Informationssicherheitsbeauftragten (ISB) der jeweils freigegebenen Informationsklassifizierung zu. Dabei setzen Sie geeignete Verfahren für Zugriffskontrolle und Authentifizierung, insbesondere SSO, um und berücksichtigen Anforderungen aus Datenschutz und Informationssicherheit. * Betrieb überwachen und Ressourcen steuern: Sie etablieren Monitoring und Observability für die bereitgestellten KI-Services, verantworten Logging, Verfügbarkeit und Incident-Handling und behalten die Kosten sowie die Token-Nutzung im Blick. * Qualität und Sicherheit gewährleisten: Sie evaluieren und benchmarken LLMs, führen systematische Tests durch und stellen die Qualität der eingesetzten RAG-Systeme sicher. Dabei entwickeln Sie geeignete Schutzmaßnahmen gegen Prompt-Injection und weitere LLM-spezifische Risiken. * KI-Technologien kontinuierlich weiterentwickeln: Sie etablieren LLMOps-Prozesse für automatisierte Deployments, CI/CD sowie die Versionierung von Prompts und Konfigurationen. Darüber hinaus entwickeln Sie Best Practices, beispielsweise für Prompt Engineering, und stellen Coding-Agent-Tools und deren Konfigurationen bereit. * Innovative KI-Lösungen erschließen: Sie arbeiten bei Bedarf mit Fine-Tuning, Embeddings und Vektordatenbanken und beobachten aktuelle Entwicklungen im Bereich der LLM-Technologien, um deren Potenziale für das Fraunhofer IIS zu bewerten. * Forschung mit KI unterstützen: Sie behalten die KI-Use-Cases am Fraunhofer IIS im Blick und beraten Forschungsgruppen bei der Bewertung ihrer Use-Cases, der technischen Machbarkeit und der Auswahl geeigneter Lösungen. * Wissen und Kompetenzen aufbauen: Sie unterstützen den institutsweiten Wissenstransfer durch Workshops, Onboarding und Dokumentation und fördern damit die sichere und effiziente Nutzung von KI-Technologien. * KI strategisch weiterdenken: Sie beobachten den Markt sowie die Entwicklung neuer Modelle und Technologien und unterstützen bei Lizenz- und Vertragsthemen. Perspektivisch wirken Sie am Aufbau einer institutsweiten KI-Agentenplattform mit und übernehmen deren technischen Betrieb. ## Related Videos - [Docker Compose: Rediscovered](https://www.wearedevelopers.com/videos/1978-docker-compose-rediscovered) - [Understanding Kubernetes in a visual way](https://www.wearedevelopers.com/videos/100085-understanding-kubernetes-in-a-visual-way) - [Crypto-secure Data Management with In-Database Blockchain](https://www.wearedevelopers.com/videos/632-crypto-secure-data-management-with-in-database-blockchain) - [Breaking Silos: Successful Collaboration Between Tech & Business Teams in Complex Enterprise Systems](https://www.wearedevelopers.com/videos/1623-breaking-silos-successful-collaboration-between-tech-business-teams-in-complex-enterprise-systems) - [Microservices: how to get started with Spring Boot and Kubernetes](https://www.wearedevelopers.com/videos/242-microservices-how-to-get-started-with-spring-boot-and-kubernetes) - [Docker build without Docker](https://www.wearedevelopers.com/videos/100114-docker-build-without-docker) ## Related Articles - [Finding IT & Technology English-speaking Jobs in Germany ](https://www.wearedevelopers.com/magazine/446-finding-it-technology-english-speaking-jobs-in-germany) - [System change: restart as developer?](https://www.wearedevelopers.com/magazine/39-system-change-restart-as-developer) - [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market) - [The Biggest German Tech Companies](https://www.wearedevelopers.com/magazine/424-the-biggest-german-tech-companies) - [IT Salaries in Germany](https://www.wearedevelopers.com/magazine/287-it-salaries-in-germany) - [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany)