KI Platform Engineer
Role details
Job location
Tech stack
Job description
Verantwortung des Betriebs unserer LLM-Plattform (LLMOps) - stabil, sicher, skalierbar und nachvollziehbar
- Planung und Umsetzung von Deployments und Rollouts von Sprachmodellen - containerbasiert mit Docker
- Betrieb und Optimierung von Deployments mit vLLM oder SGLang (Serving, Throughput, Latenz, Ressourcenverbrauch).
- Analyse und Verbesserung der Performance auf bestehender Hardware
- Unterstützung bei der Auswahl geeigneter Hardware für neue Modelle und steigende Last (Compute, Memory, GPU/CPU, Skalierung)
- Konfiguration von Parametern und Serving-Einstellungen anhand des gewünschten In-/Output-Verhaltens
- Konfiguration nutzungsbasierter Limitierungen über ein API Gateway (Rate Limits, Quotas, Auth, Policies)
- Einrichtung von OpenWebUI und Sicherstellen eines laufenden Betriebes
- Monitoring und Observability für den LLM-Betrieb
Requirements
Praxiserfahrung im Betrieb produktiver Systeme (nicht nur "Basteleien") - idealerweise in Plattform-/Ops-/SRE-nahen Rollen
- Sehr gute Kenntnisse in Docker sowie in Betriebs- und Deployment-Workflows
- Erfahrung mit vLLM oder SGLang (oder vergleichbaren LLM-Serving-Stacks) für produktive Inferenz
- Know-how im Performance-Tuning für Inferenz, inklusive Quantisierung und Optimierung auf vorhandener Hardware
- Verständnis für Hardware-Auswahl und Kapazitätsplanung für LLM-Workloads
- Vertraut mit API Gateways für nutzungsbasierte Begrenzungen (Rate Limiting, Quotas, Policies)
- Erfahrung mit OpenWebUI (Betrieb, Einrichtung, Wartung) oder vergleichbaren UI-/Access-Layern
- Sicherer Umgang mit einem Python-basierten Stack, idealerweise mit Postgres sowie Berührungspunkte mit Oracle in Bestandssystemen
- SQL-Grundlagen (Abfragen, Analyse, einfache Optimierungen)
- Sichere Git sowie CI/CD Kenntnisse (Pipelines, Releases, sauberes Branching, Automatisierung)
- Grundkenntnisse im Fine-Tuning von LLMs (Begriffe, typische Verfahren/Workflows, Risiken/Trade-offs)
- Teamfähigkeit, Anaytisches Denken, EIgenverantwortung und eine strukturierte Arbeitsweise
Benefits & conditions
Bei uns erwartet Sie zudem ein umfangreiches Benefit-Paket mit einigen Highlights:
- Mobile Office
- JobRad Fahrradleasing
- Firmenfitness mit EGYM wellpass
- Vielfältige Entwicklungsmöglichkeiten
- Betriebliche Altersvorsorge & vermögenswirksame Leistungen
- Mitarbeitendenrabatte
- Eine attraktive Vergütung mit 13 Gehältern
- Firmenfeiern & gemeinsame Aktivitäten
About the company
INVARIS is a globally leading producer of software platforms for the interactive creation and editing of forms and documents. We specialize in high-volume document production, automated text processing, and intelligent output management.
We have been setting standards in the field of document intelligence since 1986. With over 30 years of experience and a constant eye toward the future, we can offer our customers exactly the products they’re looking for. We offer the industry standards of tomorrow today.
