Senior Data Engineer - AWS Cloud & Big Data Pipelines 98% remote ID2394S

für die Entwicklung und Automatisierung von Datenpipelines in einer cloudnativen Analyseumgebung, Die Rolle umfasst die Entwicklung und Optimierung von Datenpipelines, die Integration neuer Datenquellen sowie die Unterstützung datengetriebener Use-Cases in agilen Teams., Beratung und Umsetzung bei der Weiterentwicklung des Backends (Konzeption, Implementierung, Dokumentation neuer Features)

• Erstellung und Automatisierung von Datenpipelines nach dem Zonenmodell (raw - trusted - refined)
• Analyse und Bewertung neuer Datenquellen, Aufbau geeigneter Datenstrukturen
• Visualisierung und Reporting von Daten (Power BI, QuickSight, Tableau)
• Implementierung von AWS-Managed-Services (Glue, Airflow, Batch, S3, Athena, Glue Data Quality)
• Entwicklung mit Python, SQL, Apache Spark, PySpark, Pandas, Boto3 API, SNS, SQS, REST
• Mitarbeit in agilen Scrum-Teams (Refinement, Planning, Review, Retro)

Mind. 5 Jahre Erfahrung in Datenmodellierung und ETL-Entwicklung mit Python und SQL

• Gute Kenntnisse in der AWS-Cloud und Erfahrung mit Managed Services (Glue, Athena, S3 u. a.)

• Nachweisbare Projekterfahrung in der Dashboard-Entwicklung (Power BI, QuickSight oder Tableau)

• Erfahrung in Softwareentwicklung mit Git und CI/CD-Prozessen

• Kenntnisse in Data Exploration, Analyse, Modellierung und Data Quality

• Sehr gute Deutschkenntnisse (C1) und gute Englischkenntnisse (C1) Wünschenswert (Nice-to-have):

• Erfahrung im Aufbau von serverlosen Cloud-Datenplattformen

• Kenntnisse in Data Science-Methoden (Prognose, Klassifikation, Clustering)

• Praxis mit Docker-Containern

• Projekterfahrung im Bereich Transport / Logistik und Datenintegration