Databricks Platform Engineer

Wir suchen einen Databricks Platform Engineer (m/w/d) mit Interesse an der Zusammenarbeit mit Data Scientisten und Machine Learning Engineers. Diese Rolle ist zentral für die Konzeption, den Aufbau und die Optimierung unserer unternehmensweiten Datenplattform auf Databricks, die die skalierbare Entwicklung von Datenprodukten entlang der gesamten Wertschöpfungskette von BI bis KI ermöglicht.

Folgende Aufgaben wirst du schwerpunktmäßig ausfüllen:

• Applikationsverantwortung für die Databricks Platform und Sicherstellung der Verfügbarkeit, Sicherheit und Skalierbarkeit der Plattform
• Bereitstellung und Konfiguration von Databricks-Arbeitsbereichen mittels DAB, Terraform CLI, und SDK
• Verwaltung von arbeitsbereichsbezogenen Einstellungen wie Clustern, Bibliotheken, Compute-Richtlinien und Zugriffssteuerungen
• Definition und Pflege von Katalogen, Schemata und Tabellen über Arbeitsbereiche hinweg mit Unity Catalog
• Nutzung von Infrastructure-as-Code (IaC)-Tools wie Terraform und Terragrunt für Infrastrukturbereitstellung und -konfiguration
• Implementierung, Betrieb und Verbesserung von CI/CD-Pipelines mithilfe von GitLab CI/CD zur effizienten und automatisierten Softwarebereitstellung

• Abgeschlossenes Informatik-Studium oder in einer vergleichbaren Fachrichtung mit IT-Bezug oder eine vergleichbare Qualifikation
• Mehrjährige Erfahrung in der Softwareentwicklung und im Systembetrieb mit modernen Tech-Stacks, CI/CD Pipelines sowie dem stabilen, sicheren und kosteneffizienten Betrieb auf Microsoft Azure
• Nachgewiesene ausgeprägte Kenntnisse im Aufbau und der Wartung von wiederverwendbaren Infrastructure-as-Code (IaC) Templates und Bausteinen (z. B. Terraform)
• Starke Skripting-Fähigkeiten (z. B. Python, Bash) sind von Vorteil
• Praktische Erfahrung mit Databricks, Delta Lake und Spark

Im KI-Kompetenzzentrum dreht sich alles um die Erschaffung von KI-Lösungen für Union Investment und den Aufbau einer Databricks Data Intelligence Platform. In unseren Projekten entwickeln wir skalierbare Datenprodukte gemeinsam mit den Fachbereichen und Technologie-Teams. Damit unterstützen wir die gesamte Organisation dabei, Geschäftsentscheidungen auf Basis verlässlicher Daten und modernster Analytics-Methoden zu treffen.