Senior Data Engineer - Schwerpunkt Databricks
Windhoff Group
Gescher, Germany
2 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Shift work Languages
English, German Experience level
SeniorJob location
Gescher, Germany
Tech stack
Unity
Artificial Intelligence
Amazon Web Services (AWS)
Azure
Cloud Computing
Data Architecture
ETL
Data Vault Modeling
Data Warehousing
Python
SQL Databases
Data Streaming
Azure
Google Cloud Platform
Software Distribution
Snowflake
Spark
Data Lake
Data Analytics
Star Schema
Kafka
Databricks
Job description
- Du entwirfst skalierbare Lakehouse-Architekturen und entwickelst Datenplattformen, die zuverlässig, performant und wirtschaftlich nutzbar sind.
- Du projektierst und realisierst Data-Engineering-Projekte auf der Databricks-Lakehouse-Plattform - von der Anforderungsaufnahme bis zum produktiven Betrieb, inklusive Tests und Übergabe in den Echtbetrieb.
- Du konzipierst Datenmodelle und ETL-/ELT-Strecken mit Delta Lake, Medallion-Architektur, Delta Live Tables und Databricks Workflows - und bindest bei Bedarf ergänzende Technologien wie Snowflake, Azure, AWS oder Google Cloud an.
- Du übersetzt fachliche Anforderungen von Kunden und Fachbereichen in nachhaltige Datenlösungen und bringst deine Erfahrung bei Architekturentscheidungen und der Weiterentwicklung bestehender Systeme ein.
- Als Senior Consultant übernimmst du Verantwortung für dein (Teil-)Projekt und das Projektteam, unterstützt weniger erfahrene Kolleg:innen und treibst die Qualität unserer Lösungen kontinuierlich voran.
- Du unterstützt Presales- und Marketingaktivitäten im Databricks-Kontext, z. B. mit Lösungsskizzen, Demos oder Fachbeiträgen., * Durchführung von Projekten entlang der D&A Wertschöpfungskette: Anforderungsaufnahme, Konzeption, Implementierung & Design, Test, Rollout & Hypercare
- Enge Zusammenarbeit mit erfahrenen Architekten und Consultants in Projekten mit komplexer Datenlandschaft (heterogene Quellen, Legacy-Systeme)
- Technische Weiterentwicklung und fachlicher Austausch auf hohem Niveau
- Entwicklungsperspektiven in Richtung Data Architect oder Lead Consultant
Requirements
- Mehrjährige Erfahrung im Bereich Data & Analytics sowie fundierte Projekterfahrung mit Databricks
- Du beherrschst die zentralen Databricks-Bausteine (Delta Lake, Medallion-Pattern, Auto Loader, Delta Live Tables, Databricks Workflows, Databricks SQL, Unity Catalog) sowie Spark, Python und SQL.
- Erfahrung mit Lakehouse- oder Data-Warehouse-Architekturen
- Know-how in Datenmodellierung (z.B. Data Vault, Star Schema) sowie ETL-/ELT-Prozessen
- Erfahrung im Cloud-Umfeld (Azure oder AWS) und mit Streaming-Technologien wie Kafka oder Event Hubs sowie Performance-Optimierung von Datenplattformen
- Die Fähigkeit, fachliche Anforderungen zu analysieren und in nachhaltige technische Lösungen zu übersetzen
- Verhandlungssichere (C-Niveau) Deutsch- und gute Englischkenntnisse runden dein Profil ab.
About the company
Projekte. Gemeinsam. Entwickeln. Seit 1997 unterstützen wir mittelständische Firmen und Großunternehmen aus ganz unterschiedlichen Branchen mit innovativen Lösungen in den Bereichen SAP Business Intelligence, Software Engineering und Project Management.