Data Engineer - Open Source Technologie
Dpd Gmbh
1 month ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
GermanJob location
Tech stack
Airflow
Continuous Integration
Data Integration
ETL
Data Security
Data Structures
Data Stores
PostgreSQL
Open Source Technology
Data Streaming
Spark
Kubernetes
Information Technology
Kafka
Terraform
Docker
Job description
- Entwurf, Entwicklung und Implementierung von ETL- und ELT-Prozessen zur Datenintegration und -transformation
- Gestaltung und Wartung von Datenstrukturen für effiziente Datenspeicherung und -verarbeitung
- Sicherstellung von Datenqualität, -konsistenz und Implementierung von Data-Cleansing-Prozessen
- Gewährleistung von Datensicherheit, Datenschutz und Compliance-Anforderungen
- Umsetzung von CI/CD-Prozessen sowie enge Zusammenarbeit mit Data Scientists, Analysten und Fachbereichen
Requirements
- Abgeschlossenes Studium mit IT-Schwerpunkt oder vergleichbare Qualifikation im Bereich Informatik / Wirtschaftsinformatik
- fundierte Praxiserfahrung in der Konzeption, Implementierung und Optimierung von ETL-/ELT-Prozessen mit Tools und Frameworks wie Apache Spark, Airflow, Dagster, Kafka, dbt Core, PostgreSQL, Trino und Iceberg
- sicherer Umgang mit der Integration und Anbindung unterschiedlichster Datenquellen und nutzen zeitgemäße Technologien aus den Bereichen Streaming (bspw. Kafka), Storage und Workflow-Orchestrierung, um stabile, skalierbare Datenplattformen und Datentransportwege zu realisieren
- Beherrschen des Aufbaus und der Pflege automatisierter CI/CD- und Infrastrukturprozesse mithilfe von Technologien wie Docker, Kubernetes und Terraform und sorgen so für effizientes und sicheres Deployment datengetriebener Anwendungen
- Umsetzung von CI/CD Prozessen
- Enge Zusammenarbeit mit Data Scientisten, Analysten und anderen Fachbereichen
- Sehr gute Deutschkenntnisse in Wort und Schrift (mindestens B2, idealerweise C1), gute englisch Kenntnisse
- Analytisches Denkvermögen, selbstständige Arbeitsweise und Teamfähigkeit in interdisziplinären Umgebungen
