Dagster Experte / Senior Data Engineer

IT Datenbankentwicklung, Projekttyp: Freiberufliche Position (Freelancer) Projektbeschreibung

Für ein langfristiges Projekt wird ein erfahrener Spezialist mit tiefgehender Expertise in Dagster, Python und Data Engineering gesucht. Die Rolle kombiniert technische Beratung mit aktiver Hands-on-Entwicklung und unterstützt den Aufbau sowie die Weiterentwicklung komplexer Datenstrecken.

Aufgaben:

Beratung zur Strukturierung und Implementierung von Datenstrecken mit der Python-basierten Open-Source-Lösung Dagster

Konzeption und Umsetzung von Dagster-Funktionalitäten wie Assets, Resources, Sensors und Partitions

Aktive Unterstützung der Entwicklung durch die Erstellung und Weiterentwicklung von Programmcode

Beratung und Umsetzung von Dagster-Integrationen, insbesondere:

dagster-dbt

Embedded ELT mit dlt

Entwicklung und Dokumentation kundenspezifischer Dagster-Komponenten

Automatisierung des Deployments von Dagster-Code auf Kubernetes-Clustern

Mitwirkung beim Aufbau und der Weiterentwicklung von CI/CD-Prozessen

Durchführung von Code Reviews

Erstellung technischer Dokumentationen

Teilnahme an agilen Entwicklerterminen wie Planning, Daily/Scrum und Retrospektiven, Durch die Eingabe Ihrer Daten in der Onlineregistrierung sowie das Hochladen Ihrer Daten auf diese Webseite erklären Sie sich mit der Verarbeitung (Speicherung, Bearbeitung, Übermittlung und Nutzung) Ihrer Daten durch people4project einverstanden.

Alle uns von Ihnen zur Verfügung gestellten Informationen werden verschlüsselt und auf sicheren Servern gespeichert, die für unautorisierte Dritte unzugänglich sind.

Sie können jederzeit Auskunft über Ihre bei uns gespeicherten bzw. verarbeiteten Daten verlangen. Darüber hinaus haben Sie die Möglichkeit, Ihre persönlichen Daten jederzeit online aufzurufen, zu bearbeiten oder zu löschen. Nach Löschung Ihrer Daten stehen diese uns nicht mehr zur Verfügung.

Sollten sich Probleme beim Aufruf, bei der Änderung oder der Löschung Ihrer persönlichen Daten ergeben, bitten wir Sie, sich umgehend per E-Mail an uns zu wenden, damit wir Ihnen schnellst möglich behilflich sein können.

Die von Ihnen übermittelten Daten werden wir streng vertraulich behandeln und nur mit Ihrem Einverständnis an Dritte - d. h. potenzielle Arbeitgeber - weitergeben. Wir werden die von Ihnen hinterlegten Informationen ausschließlich zweckgebunden, d. h. im Rahmen einer Stellenbesetzung, nutzen. Eine Weitergabe Ihrer Daten an andere Dritte bzw. ohne ihr ausdrückliches Einverständnis, etwa zum Zwecke der Werbung, ist ausdrücklich ausgeschlossen.

Werden Ihre Daten mit Ihrem Einverständnis an Dritte - etwa potenzielle Arbeitgeber - weitergegeben, so werden wir diese zur vertraulichen Behandlung Ihrer Daten verpflichten. Gleichwohl ist jegliche Haftung unsererseits durch eine etwaige missbräuchliche Verwendung der mit Ihrem Einverständnis an Dritte weiter gegebenen Daten durch diese Dritten ausgeschlossen.

Fundierte praktische Erfahrung mit Dagster und dem Aufbau komplexer Dagster-Projekte

Erfahrung mit dagster-dbt sowie Embedded ELT unter Verwendung von dlt

Senior-Level-Expertise in Python mit mehr als 5 Jahren relevanter Erfahrung

Mehrjährige Senior-Erfahrung im Data Engineering

Tiefgehende Erfahrung in der Konzeption und Umsetzung komplexer Datenstrecken

Nachweisbare Erfahrung mit komplexen dbt-core-Projekten, idealerweise anhand von mindestens 3 Referenzen

Erfahrung mit Dokumentation und strukturierter technischer Beratung

Wünschenswerte Kenntnisse:

Projekterfahrung mit AWS

Erfahrung mit containerisierten Open-Source-Orchestratoren wie Dagster oder Apache Airflow

Erfahrung im Aufbau und Betrieb von Datenstrecken durch Entwicklungsteams

Kenntnisse agiler Projektmanagement- und Vorgehensmodelle

Idealerweise Zertifizierungen bzw. nachweisbare Erfahrung in agilen Methoden