Data Engineer

Rhenus AG & Co. KG

Hilden, Germany

about 1 month ago

Apply on de.indeed.com

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Shift work

Languages

English, German

Job source

de.indeed.com

Tech stack

Clean Code Principles Application Programming Interfaces (APIs) Airflow Amazon Web Services Cloud Computing Databases Information Engineering Python (Programming Language) Object-Oriented Software Development Data Streaming Enterprise Data Management Apache Spark

+6 more

Git Data Lakes Pyspark Kubernetes Information Technology Apache Kafka

Job description

Du entwickelst und betreibst Datenpipelines auf unserer cloud-nativen Enterprise Data Platform (EDP) und arbeitest eng mit Analytics-Teams sowie Fachbereichen zusammen, um Datenprodukte für Reporting, Analytics und operative Prozesse bereitzustellen.
Außerdem integrierst du Daten aus unterschiedlichsten Quellen (z. B. APIs, Datenbanken, Streaming, Files) in unsere Plattform und stellst deren zuverlässige Verarbeitung und Verfügbarkeit sicher.
Zudem konzipierst, implementierst und betreibst du skalierbare Datenpipelines (Batch & Streaming) auf Basis von Spark, Delta Lake und Kubernetes - von der Ingestion bis zur Bereitstellung im Gold Layer.
Unsere Enterprise Data Platform (EDP) entwickelst du kontinuierlich weiter und arbeitest mit einer modernen Lakehouse-Architektur (Delta Lake, Medaillenmodell) in einer Multi-Tenant-Umgebung auf AWS.

Requirements

Dein Studium der (Wirtschafts-)Informatik oder eine vergleichbare Ausbildung hast du erfolgreich abgeschlossen - oder bringst entsprechende praktische Erfahrung im Data Engineering mit.
Du hast Erfahrung in Datenmodellierung und der Verarbeitung großer Datenmengen sowie ein gutes Verständnis für Datenqualität, Transformation und Datenflüsse.
Außerdem kennst du dich mit Cloud-Technologien (idealerweise AWS) sowie mit modernen Data-Stack-Komponenten wie Spark, Kubernetes oder Workflow-Orchestrierung (z. B. Airflow) aus und verfügst über sehr gute Programmierkenntnisse in Python und PySpark.
Begriffe und Konzepte wie Kubernetes, Clean Code, Medallion Architecture, OOP oder Kafka sind für Dich keine Fremdwörter.
Du arbeitest strukturiert, übernimmst Ownership für deine Themen und bewegst dich gekonnt in einem Git-basierten, kollaborativen Entwicklungsumfeld.Mit deinen fließenden Deutsch- und Englischkenntnissen kommunizierst du sicher im technischen Kontext.