Data & AI Engineer 100%
Role details
Job location
Tech stack
Job description
-
Du managst komplexe Datenlandschaften auf Azure Databricks.
-
Entwickle skalierbare Datenpipelines mit PySpark.
-
Implementiere AI/ML-Lösungen mit Python und Langchain., * Core Data Platform Engineering & Performance (Azure Databricks, PySpark): Konzeption, Entwicklung und Optimierung skalierbarer Ingestions- und Basis-Datenpipelines (Batch/Streaming) mit PySpark auf Azure Databricks. Sicherstellung von Stabilität und Performance bis zum Silver Layer.
-
Datenintegration & Basistransformationen (dbt): Robuste Integration von Daten aus vielfältigen Quellsystemen und Implementierung der Kern-Datentransformationen (Harmonisierung, Konsolidierung bis zum Silver Layer oder initialen Gold Layer) im Rahmen unserer Medaillon-Architektur, primär mit dbt.
-
Pro-Code AI/ML Entwicklung & Implementierung: Design und Entwicklung maßgeschneiderter KI/ML-Lösungen (z. B. für Anomalieerkennung, NLP-Anwendungen) unter Einsatz von Python, spezialisierten Bibliotheken und Frameworks wie Langchain.
-
MLOps & Operationalisierung von AI-Modellen: Implementierung und Betreuung von MLOps-Prozessen für Deployment, Monitoring und kontinuierliche Verbesserung von KI-Modellen (z. B. mit MLflow).
-
Infrastruktur-Automatisierung & Core DevOps (IaC, CI/CD): Gestaltung und Pflege unserer Dateninfrastruktur mittels Infrastructure as Code (Terraform/Bicep) sowie Entwicklung von CI/CD-Pipelines für Core-Daten- und AI-Workloads.
-
Technische Konzeption & Plattformarchitektur: Unterstützung bei der technischen Konzeption komplexer Datenprojekte und maßgebliche Mitwirkung an der Definition und Weiterentwicklung der Plattformarchitektur.
-
Plattform-Monitoring, Optimierung & Kostenmanagement: Kontinuierliche Überwachung der Systemleistung, Identifikation von Engpässen, Implementierung von Optimierungsmaßnahmen und Sicherstellung der Kosteneffizienz.
Requirements
- Mindestens 3-5 Jahre Erfahrung im Data Engineering.
- Fundierte Kenntnisse in PySpark und Azure Databricks.
- Analytisches Denken und Teamfähigkeit., * Mehrjährige Berufserfahrung (mind. 3-5 Jahre) im Data Engineering, insbesondere im Aufbau und Betrieb von Datenplattformen in Cloud-Umgebungen (idealerweise Azure).
- Fundierte Kenntnisse in der Entwicklung mit PySpark und Erfahrung mit Azure Databricks (Performance Tuning, Optimierung).
- Nachweisbare Erfahrung in der Entwicklung und im produktiven Einsatz von Pro-Code KI/ML-Modellen (Python, gängige ML-Bibliotheken, idealerweise Erfahrung mit LLMs/Langchain).
- Sehr gute SQL-Kenntnisse und Erfahrung mit dbt für Datentransformationen.
- Versiert im Umgang mit Git, CI/CD-Prozessen und Infrastructure as Code (Terraform/Bicep).
- Analytisches Denken, systematische Problemlösung und hoher Qualitätsanspruch.
- Teamorientiert, kommunikationsstark und bereit, Wissen zu teilen.
- Verhandlungssichere Deutsch- und Englischkenntnisse.
Benefits & conditions
-
Eine verantwortungsvolle Rolle mit viel Gestaltungsspielraum in einem dynamischen Umfeld
-
Mentoring durch erfahrene Kolleginnen und Kollegen - wir fördern deine Weiterentwicklung gezielt
-
Strukturiertes Onboarding und individuelle Weiterbildungsmöglichkeiten (z. B. Microsoft-Zertifizierungen)
-
Moderne Arbeitsbedingungen mit flexiblen Arbeitszeiten und Homeoffice-Möglichkeiten
-
Ein kollegiales, interdisziplinäres Team mit flachen Hierarchien
-
Ein aktiver Beitrag zur technologischen Zukunft - du arbeitest mit uns an der Integration von KI-Lösungen auf Basis der Power Platform
-
Diverse Mitarbeiterveranstaltungen sowie weitere Events
-
und vieles mehr...
