Big Data Engineer

APRIORI - business solutions AG

Dortmund, Germany

1 day ago

Apply on www.adzuna.de

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Shift work

Languages

English, German

Job source

www.adzuna.de

Tech stack

Clean Code Principles Application Programming Interfaces (APIs) Airflow Amazon Web Services Big Data Databases Information Engineering Data Structures File Systems Object-Oriented Software Development Data Streaming Enterprise Data Management

+8 more

Cloud Platform System Apache Spark Git Data Lakes Pyspark Kubernetes Information Technology Apache Kafka

Job description

Sie entwickeln leistungsfähige Datenpipelines innerhalb einer modernen, cloudbasierten Enterprise Data Platform und sorgen für eine zuverlässige Bereitstellung von Daten für Reporting-, Analyse- und Fachbereichsanwendungen.
Unterschiedliche Datenquellen - beispielsweise APIs, Datenbanken, Streaming-Dienste oder Dateisysteme - binden Sie an die Plattform an und stellen deren stabile Verarbeitung sicher.
Sie konzipieren und implementieren skalierbare Datenverarbeitungslösungen für Batch- und Streaming-Workloads unter Einsatz moderner Technologien wie Spark, Kubernetes und Delta Lake.
Gemeinsam mit Ihrem Team entwickeln Sie die bestehende Datenplattform kontinuierlich weiter und optimieren die zugrunde liegende Lakehouse-Architektur in einer AWS-basierten Multi-Tenant-Umgebung.
Sie leisten einen aktiven Beitrag zur Weiterentwicklung einer zukunftsfähigen Datenlandschaft und schaffen die Grundlage für datengetriebene Entscheidungen im Unternehmen.

Requirements

Sie verfügen über ein abgeschlossenes Studium der (Wirtschafts-)Informatik, eine vergleichbare Qualifikation oder einschlägige Berufserfahrung im Bereich Data Engineering.
Sie bringen praktische Erfahrung in der Entwicklung von Datenpipelines, der Modellierung komplexer Datenstrukturen sowie im Umgang mit großen Datenmengen mit.
Moderne Cloud-Plattformen - idealerweise AWS - sowie Technologien wie Spark, PySpark, Kubernetes oder Workflow-Orchestrierungstools (z. B. Airflow) gehören zu Ihrem technischen Werkzeugkasten.
Konzepte wie Clean Code, objektorientierte Programmierung, Kafka oder moderne Lakehouse-Architekturen sind Ihnen vertraut und finden Anwendung in Ihrem Arbeitsalltag.
Eine strukturierte, eigenverantwortliche Arbeitsweise, Teamfähigkeit sowie Erfahrung mit Git-basierten Entwicklungsprozessen zeichnen Sie aus.
Sehr gute Deutsch- und Englischkenntnisse runden Ihr Profil ab.