Data Engineer (Kubernetes/AWS)

• Implementierung von Datenverarbeitungen
• Umsetzung abgegrenzter Datenpipelines und ETL-/ELT-Verarbeitungen auf Azure Databricks mit Python, SQL und PySpark auf Grundlage der vorgegebenen Architektur- und Entwicklungsstandards
• Umsetzung von Container- und KI-Komponenten
• Entwicklung und Anpassung containerisierter Daten- und KI-Komponenten auf DBMC/DBCS einschließlich der Umsetzung definierter Kubernetes-basierter Datenverarbeitungs-, Trainings- und Inference-Workloads
• Umsetzung von On-Prem-Workloads
• Entwicklung und Anpassung abgegrenzter Kubernetes-/k3s-basierter Komponenten auf der On-Prem-KI-Infrastruktur sowie Umsetzung definierter GPU-/CPU-basierter Trainings- und Inference-Workloads
• Migration bestehender Komponenten
• Technische Migration abgegrenzter Skripte, Datenverarbeitungen, Pipelines und Containerkomponenten auf die vorgegebene Zielplattform einschließlich Daten-, Funktions- und Schnittstellenvalidierung
• Deployment und Automatisierung Umsetzung und Anpassung bestehender automatisierter Deployment- und Infrastrukturprozesse unter Nutzung von GitLab CI/CD, Terraform, Databricks Asset Bundles, Docker, Ansible und GitOps-/FluxCD-Verfahren
• Tests und Qualitätssicherung Erstellung und Durchführung automatisierter Unit-, Integrations- und technischer Funktionstests sowie Dokumentation der Test- und Validierungsergebnisse
• Monitoring und Fehlerbehebung
• Umsetzung definierter Monitoring-, Logging- und Alerting-Anforderungen sowie Analyse und Behebung technischer Fehler in Datenpipelines, Container-, Kubernetes- und Deployment-Komponenten
• Dokumentation und standardkonforme Umsetzung
• Technische Dokumentation der entwickelten und migrierten Komponenten sowie Umsetzung der Leistungen innerhalb der vorgegebenen Architektur-, Unity-Catalog-, Security-, Governance- und Betriebsstandards

• Bitte NUR bewerben, wenn ALLE MUSS-Anforderungen erfüllt sind!
• MUSS-Anforderungen:
• Zertifikat: Certified Kubernetes Administrator (CKA)
• Sehr gute Architektur- und Betriebserfahrung mit Kubernetes in AWS- und On-Premise-Umgebungen
• Erfahrung in der Bereitstellung und im Betrieb von Open-Weight-LLMs auf On-Premise-GPU-Infrastruktur
• Projekterfahrung und Fachwissen im Eisenbahnbetrieb, insbesondere zu Fahrzeug und Anschlussdisposition sowie Verspätungskodierungen
• Langjährige Architektur- und Umsetzungs-Kenntnisse im Bereich Infrastructure- as-Code - Mindestens 3 Jahre
• Projekterfahrung in der Operationalisierung von ML-Modellen mit MLflow, im Umgang mit Azure Databricks sowie in der Umsetzung von MLOps-Best-Practices
• SOLL-Anforderungen:
• Erfahrung mit vLLM, Inferenz-Parametertuning und OpenWebUI sowie der API-basierten Anbindung eigener Modellendpunkte an KI-gestützte Entwicklungswerkzeuge
• Erfahrung mit abgegrenzten Betriebsleistungsbausteinen nach bahninternen Betreibervorgaben einschließlich Grafana-Monitoring und dokumentierter Fehlerbehandlung
• Erfahrung mit Explainable AI, insbesondere Shapley-/SHAP-Analysen zur Interpretation von Gradient-Boosting-Modellen wie XGBoost

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.