AI Data Engineer

• Wir suchen einen Data / Machine Learning Engineer (m/w/d) mit Interesse an Data Science Themen für unser Team, der*die sowohl neue Pipelines und Ingestions für unser Databricks Lakehouse baut, Analytics-Komponenten entwickelt und auch bestehende KI-Produkte für Use Cases skalierbar macht.
• Pipeline-Entwicklung: Konzeption, Aufbau und Wartung robuster ETL/ELT-Datenpipelines unter Nutzung von PySpark, SQL und Delta Lake
• Konfiguration und Tuning von Spark-Clustern und Orchestrierung von Workflows und Jobs mittels Databricks Workflows/Lakeflows
• Verwendung von Microsoft Azure Cloud Technologien (wie z.B. Azure Machine Learning, Azure SQL, Azure CosmosDB) und GitLab, um Datenprodukte mittels vollautomatisierter CI/CD Pipelines auszurollen
• Unterstützung bei der Entwicklung zentraler Python Bibliotheken und Komponenten mit Fokus und Weiterentwicklung der MLOps Prozesse
• Enge Zusammenarbeit mit Data Scientisten und Analysten, um Daten für KI-Anwendungen und Business Intelligence bereitzustellen

• Fundierte praktische Erfahrung mit der Databricks-Platform, insbesondere PySpark, Delta Lake und Spark SQL sowie exzellente Kenntnisse in Python
• Du verstehst, warum es eine schlechte Idee ist, den Docker Socket in einen Container zu mounten
• Du weißt, wie du Python code so refactorn kannst, dass er testbar und wartbar ist
• Du verstehst, welche Worte hier fehl am Platz sind: decorators, generators, simulators; composition over inheritance, golden ratio, dependency injection; bash, drive letters, linux file system; kubernetes, bare metal, Docker; outlier detection, CI/CD, linting; flask, fastapi, spring boot; Turtok, uv, ruff
• Du hast mehrjährige Berufserfahrung im Bereich Softwareentwicklung und/oder Data Engineering
• Deine Arbeitsweise ist geprägt von Partnerschaftlichkeit, Wertschätzung sowie Begeisterung und Teamgeist

Im KI-Kompetenzzentrum dreht sich alles um die Erschaffung von KI-Lösungen für Union Investment und den Aufbau einer Databricks Data Intelligence Platform. In unseren Projekten entwickeln wir skalierbare Datenprodukte gemeinsam mit den Fachbereichen und Technologie-Teams. Damit unterstützen wir die gesamte Organisation dabei, Geschäftsentscheidungen auf Basis verlässlicher Daten und modernster Analytics-Methoden zu treffen.