Data Engineer - dagster-dbt, embedded-elt

Im Finanzbereich des Kunden entsteht mit dem eine neue Datenplattform, die zunächst die zentralen Fachbereiche und später auch die Geschäftsfelder und Service Center für Analytics-Zwecke aus einer Hand mit Finanz und weiteren strukturierten Daten/Datenprodukten versorgen wird. Das Projekt seht in starker inhaltlicher Abhängigkeit zum SAP-HANA-Transformationsprojekt Argo, durch welches neue Datenquellen entstehen und bisherige Datenprodukte neu erarbeitet und gestaltet werden müssen. Mit der neuen Plattform werden zudem auch Komponenten, die in der Vergangenheit in den Fachbereichen, teils in umfangreicher Eigenentwicklung, entstanden sind durch gängige Cloud -Komponenten und unter Einsatz von Open-Source-Frameworks abgelöst. Nicht zuletzt um die in den Fachbereichen bereits vorhandenen Ressourcen und Kompetenzen (fachbereichsnahe IT) optimal zu nutzen, soll der eingesetzte Stack SQL-basiert sein und wird durch Python-basierte Komponenten ergänzt. Als Cloud Datawarehouse wird AWS Redshift eingesetzt, wobei die Integration der SAP- und ggf. weiterer übergreifend relevanter Datenquellen zentral geschehen soll (vsl. in einem Multi-Clusterinstanz-Modell unter Einsatz von Data Sharing). Zur Datentransformation inkl. entsprechender Qualitätssicherung und Dokumentation wird daher maßgeblich das Python-/SQL-Framework dbt-core verwendet werden. Zur Orchestrierung sollen, je nach Fachbereich, die Python-Frameworks dagster bzw. wahlweise Airflow zum Einsatz kommen, die später containerisiert laufen sollen. Erste PoCs mit vorgenanntem Stack sind durch die IT-Kräfte der Fachbereiche bereits entstanden. Im Rahmen des weiteren Projektverlaufs soll die fachbereichsnahe IT durch Kompetenzen und Erfahrungen ergänzt werden, um zunächst ein produktionstaugliches infrastrukturelles Setup inkl. eines geeigneten Betriebsmodells mit dem internen IT-Dienstleister zu konzipieren und zu realisieren, auf welchem dann die eigentlichen Datenstrecken mit weiterer Unterstützung und unter Einsatz moderner Entwicklungsprinzipien (Versionierung, Reviews, automatisiertes Testing, CI/CD) und im agilen Modus entstehen können. Parallel soll vorbereitend bereits damit begonnen werden, die Konzeption der Datenstrecken auf dem Cloud Datawarehouse weiter voranzutreiben, so dass die eigentliche Entwicklung der Datenstrecken auf Basis von klaren Leitlinien und Prinzipien von Beginn an, nachhaltig wartbar und erweiterbar aufzubauen., * Beratung bei der Strukturierung der Implementierung von Datenstrecken mit der Python-Open-Source Bibliothek dagster hinsichtlich der Nutzung und Umsetzung der verfügbaren Features (z.B. sensors, par titions etc.) inkl. Dokumentation (inkl. “Hands-On”-Unterstützung durch Beitragen von Programmcode)

• Beratung beim Einsatz von dagster-Intergrationen, insb. dagster-dbt, embedded-elt mit dlt (inkl. “Hands-On”-Unterstützung durch Beitragen von Programmcode)
• Umsetzung beim automatisierten Deployment von dagster code auf einem Kubernetes Cluster (CI/CD) Entwicklung von dagster-Komponenten wie Resources, Assets, Sensors etc. gemäß Kundenanforderun gen inkl. Dokumentation
• Durchführen von Code-Reviews, * Dagster Experte Erfahrung im Aufbau und Umsetzung komplexer dagster-Projekte insb. dagster-dbt, embedded-elt mit dlt Erfahrungslevel in Jahren (3 Jahre Erfahrung)
• Python Experte - Beratung und Strukturierung der Implementierung von Datenstrecken Erfahrungslevel in Jahren Senior (mehr als 5 Jahre Erfahrung)
• Data Engineering Experte - Beratung hinsichtlich der Nutzung und Umsetzung der Features inkl. Dokumentation Erfahrungslevel in Jahren Senior (mehr als 5 Jahre Erfahrung)
• Erfahrung mit komplexen dbt Projekten mit dbt-core Anzahl Referenzen 3

• Erfahrung mit Projekten auf AWS Infrastruktur Anzahl Referenzen 1
• Erfahrung im Einsatz von containerisierten open-source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwickler-Teams (Airflow oder dagster) Anzahl Referenzen 1
• Know-How im agilen Projektmanagement z.B. IAPM/CAPM, PMI Agile Certified Practitioner, Scaled Agile Framework Zertifikate Nachweis der Zertifizierung und Referenzen zur Anwendung
• Erfahrungen mit komplexen dbt Projekten mit dbt-core Anzahl Referenzen 3

Die sms Consulting GmbH ist seit 1993 für Ihre Kunden ein kompetenter Partner für die Rekrutierung externer IT-Spezialisten und Festangestellten.