Data Engineer

hyrUP GmbH

Düsseldorf, Germany

3 days ago

Apply on www.adzuna.de

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Shift work

Languages

English, German

Job source

www.adzuna.de

Tech stack

Clean Code Principles Application Programming Interfaces (APIs) Airflow Amazon Web Services Data Analysis Cloud Computing Databases Information Engineering Data Infrastructure Python (Programming Language) Object-Oriented Software Development Data Streaming

+8 more

Data Ingestion Apache Spark Git Data Lakes Pyspark Kubernetes Information Technology Apache Kafka

Job description

Entwicklung und Betrieb von Datenpipelines auf einer cloud-nativen Data Platform sowie enge Zusammenarbeit mit Analytics-Teams und Fachbereichen
Integration von Daten aus unterschiedlichen Quellen wie APIs, Datenbanken, Streaming und Files sowie Sicherstellung einer zuverlässigen Verarbeitung und Verfügbarkeit
Konzeption, Implementierung und Betrieb skalierbarer Batch- und Streaming-Pipelines auf Basis von Spark, Delta Lake und Kubernetes - von der Datenaufnahme bis zur Bereitstellung
Kontinuierliche Weiterentwicklung einer modernen Lakehouse-Architektur mit Delta Lake und Medallion-Modell in einer AWS-basierten Multi-Tenant-Umgebung

Requirements

Erfolgreich abgeschlossenes Studium der (Wirtschafts-)Informatik, eine vergleichbare Ausbildung oder entsprechende praktische Erfahrung im Data Engineering
Fundierte Kenntnisse in der Datenmodellierung und Verarbeitung großer Datenmengen sowie ein gutes Verständnis für Datenqualität, Transformationen und Datenflüsse
Erfahrung mit Cloud-Technologien, idealerweise AWS, sowie modernen Data-Stack-Komponenten wie Spark, Kubernetes und Workflow-Orchestrierung, z. B. Airflow
Sehr gute Programmierkenntnisse in Python und PySpark
Vertrautheit mit Konzepten wie Clean Code, Medallion Architecture, OOP und Kafka
Strukturierte und eigenverantwortliche Arbeitsweise sowie Erfahrung in einem Git-basierten, kollaborativen Entwicklungsumfeld
Fließende Deutsch- und Englischkenntnisse für die sichere Kommunikation im technischen Umfeld

Benefits & conditions

Unser Kunde ist ein international ausgerichtetes Unternehmen mit mehreren Geschäftsbereichen und zentralen Serviceeinheiten. Flache Hierarchien, kurze Entscheidungswege und viel Raum für Eigeninitiative prägen das Arbeitsumfeld., Flexible Arbeitszeiten - Gleitzeitmodell & mobiles Arbeiten (60%)

Finanzielle Förderung zur persönlichen und fachlichen Weiterentwicklung (zB. Zertifikate)

Modernes Arbeitsumfeld mit ergonomischen Arbeitsplätzen

Diverse Mitarbeitervorteile wie zB. Corporate Benefits, ÖPNV Zuschuss etc.