(Senior) Data Engineer

Als Data Engineer (m/w/d) arbeitest du an Design, Entwicklung und Wartung von Datenpipelines und Datenprodukten auf Databricks. Du hilfst dabei, Lösungen zu entwickeln, die zuverlässig, wartbar und nach modernen Engineering-Standards aufgebaut sind.

Zu deinen Kernaufgaben gehören:

• Entwicklung und Pflege von Datenpipelines mit Python, PySpark und/oder SQL
• Unterstützung von Data-Ingestion-Prozessen für Batch- und Streaming-Workloads
• Implementierung von Data-Quality-Checks und Validierungsprozessen innerhalb bestehender Frameworks
• Mitarbeit an CI/CD-Prozessen und Einhaltung etablierter Data-Engineering-Standards
• Anwendung von Data-Governance-Prinzipien wie Datenklassifizierung, Zugriffskontrolle und Compliance-Anforderungen
• Zusammenarbeit mit Engineers und Stakeholdern, um hochwertige Datenlösungen zu liefern und technische Herausforderungen zu lösen

Du bist Data Engineer (m/w/d) mit Fokus auf zuverlässige und gut strukturierte Datenpipelines. Du fühlst dich wohl in einer etablierten Architektur und trägst aktiv zur Lieferung hochwertiger Datenlösungen im Team bei. Du hast eine neugierige, lernorientierte Haltung und legst Wert auf wartbare Lösungen. Du kommunizierst proaktiv, arbeitest gerne mit anderen zusammen und scheust dich nicht, Fragen zu stellen oder Herausforderungen anzusprechen.

Wir stellen uns vor, dass du:

• Sicher in Python und SQL bist
• Erfahrung mit Lakehouse- oder Medaillon-Architekturprinzipien hast
• Mit Data-Ingestion-Mustern vertraut bist - sowohl Batch als auch Streaming
• Git oder ähnliche Versionierungstools sicher nutzt
• Ein gutes Verständnis von CI/CD-Prinzipien und Data-Development-Praktiken hast
• Hands-on-Erfahrung mit Databricks mitbringst und Data-Quality- sowie Governance-Konzepte kennst
• Sicher auf Deutsch und Englisch kommunizierst

Zusätzlich von Vorteil sind:

• Erfahrung mit Databricks Asset Bundles / Declarative Automation Bundles (DABs) oder ähnlichen Deployment- und Konfigurationstools
• Kenntnisse in Streaming-Technologien wie Auto Loader, Kafka, Event Hubs oder vergleichbaren Lösungen
• Erfahrung mit Azure, AWS oder Google Cloud Platform (GCP)

Bei DLG wirst du Teil einer ambitionierten und kollaborativen Organisation, in der Daten eine immer wichtigere Rolle für geschäftliche Entscheidungen und Wertschöpfung spielen. Wir bieten dir ein flexibles und unterstützendes Arbeitsumfeld mit hervorragenden Möglichkeiten für fachliche Weiterentwicklung, Wissensaustausch und berufliches Wachstum. Du arbeitest eng mit erfahrenen Kolleg:innen zusammen und wirst Teil einer Kultur, die von Zusammenarbeit, Vertrauen und kontinuierlicher Verbesserung geprägt ist.

Die DLG-Gruppe zählt zu den führenden Genossenschaften Europas in den Bereichen Lebensmittel, Energie und Baustoffe. Unser Auftrag ist es, langfristigen Mehrwert für unsere landwirtschaftlichen Eigentümer und für die Gesellschaft zu schaffen - durch verlässliche Produkte, innovative Lösungen und nachhaltiges Wachstum in all unseren Geschäftsbereichen. Mit rund 7.000 Mitarbeitenden in 18 Ländern und auf Basis unserer genossenschaftlichen Struktur gestalten wir unsere Zukunft durch gemeinsame Werte, nachhaltige Ziele und den festen Glauben an die Kraft der Zusammenarbeit. Die team SE mit Sitz in Flensburg ist ein wesentlicher Bestandteil der DLG-Gruppe. Unsere zentralen Unternehmensfunktionen sind standortübergreifend zwischen Flensburg und dem DLG-Hauptsitz in Fredericia organisiert. Gemeinsam unterstützen wir die Geschäftsbereiche über Ländergrenzen hinweg und tragen zu einer effizienten, integrierten und zukunftsfähigen Organisation bei, die Skaleneffekte und Synergien optimal nutzt.