AWS Data Engineer

Westhouse Consulting GmbH
Frankfurt am Main, Germany
1 day ago
Apply on www.westhouse-group.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
3 years minimum
Working hours
Regular working hours

Tech stack

Amazon Web Services Automation of Tests Cloud Computing Cluster Analysis Continuous Integration Extract Transform Load (ETL) Python (Programming Language) Power BI Software Engineering SQL Databases Apache Spark Pyspark
+2 more
AWS Glue Docker

Job description

  • Entwicklung, Automatisierung und Qualitätssicherung produktionsreifer Datenpipelines in einer cloudnativen AWS-Datenplattform. Die Rolle umfasst außerdem die Bereitstellung analysierbarer Daten und die technische Unterstützung des Teams.
  • Entwicklung und Automatisierung von ETL-/ELT-Strecken sowie Datenmodellen mit SQL, Python und Spark/PySpark.
  • Nutzung von AWS-Managed-Services für Ingestion, Transformation, Orchestrierung und Bereitstellung von Daten.
  • Sicherstellung von Datenqualität und Datenbereitstellung für Analysen und Dashboards; Unterstützung bei Data-Science-Anwendungsfällen.
  • Umsetzung von Softwareentwicklungs- und CI/CD-Praktiken sowie Entwicklung im agilen Team.

Requirements

  • Erfahrung mit Data Exploration, Datenanalyse, Datenmodellierung und Datenqualität/Data Stewardship - Mindestens 3 Jahre
  • Erfahrung in Softwareentwicklung mit Versionsverwaltung, CI/CD und automatisierten Tests - Mindestens 3 Jahre
  • Projekterfahrung mit Power BI als BI-/Dashboard-Lösung
  • Einschlägige Erfahrung in Entwicklung und Automatisierung von ETL-Strecken und Datenmodellierung mit SQL und Python, davon mindestens 3 Jahre mit AWS-Cloud-Technologien und Managed Services für Datenpipelines - Mindestens 5 Jahre
  • Projekterfahrung mit dem AWS-Service AWS Glue Data Quality und der Erstellung von Glue Data Quality-Regeln
  • SOLL-Kriterien:
  • Erfahrung mit serverlosen Cloud-Datenplattformen oder einer vergleichbaren Architektur zu DB360
  • Erfahrung mit etablierten Data-Science-Verfahren für Prognose, Klassifikation oder Clustering
  • Praktische Erfahrung mit Docker-Containern - Mindestens 3 Jahre
  • Erfahrung mit Transport-/Logistikdaten und heterogenen Datenquellen, Datenformaten und Qualitätsanforderungen - Mindestens 1 Jahr
  • Teilweise Übernahme von Product-Owner-Aufgaben (Anforderungsaufnahme und Priorisierung, Formulierung von User Stories, Backlog-Pflege oder Sprint-Planning)

About the company

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.westhouse-group.com
Prepare application

Good distractions

Loading talks and stories from around this role…