AWS Data Engineer
Westhouse Consulting GmbH
Frankfurt am Main, Germany
1 day ago
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Apply on www.westhouse-group.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
3 years minimum
Working hours
Regular working hours
Job source
Tech stack
Amazon Web Services
Automation of Tests
Cloud Computing
Cluster Analysis
Continuous Integration
Extract Transform Load (ETL)
Python (Programming Language)
Power BI
Software Engineering
SQL Databases
Apache Spark
Pyspark
+2 more
AWS Glue
Docker
Job description
- Entwicklung, Automatisierung und Qualitätssicherung produktionsreifer Datenpipelines in einer cloudnativen AWS-Datenplattform. Die Rolle umfasst außerdem die Bereitstellung analysierbarer Daten und die technische Unterstützung des Teams.
- Entwicklung und Automatisierung von ETL-/ELT-Strecken sowie Datenmodellen mit SQL, Python und Spark/PySpark.
- Nutzung von AWS-Managed-Services für Ingestion, Transformation, Orchestrierung und Bereitstellung von Daten.
- Sicherstellung von Datenqualität und Datenbereitstellung für Analysen und Dashboards; Unterstützung bei Data-Science-Anwendungsfällen.
- Umsetzung von Softwareentwicklungs- und CI/CD-Praktiken sowie Entwicklung im agilen Team.
Requirements
- Erfahrung mit Data Exploration, Datenanalyse, Datenmodellierung und Datenqualität/Data Stewardship - Mindestens 3 Jahre
- Erfahrung in Softwareentwicklung mit Versionsverwaltung, CI/CD und automatisierten Tests - Mindestens 3 Jahre
- Projekterfahrung mit Power BI als BI-/Dashboard-Lösung
- Einschlägige Erfahrung in Entwicklung und Automatisierung von ETL-Strecken und Datenmodellierung mit SQL und Python, davon mindestens 3 Jahre mit AWS-Cloud-Technologien und Managed Services für Datenpipelines - Mindestens 5 Jahre
- Projekterfahrung mit dem AWS-Service AWS Glue Data Quality und der Erstellung von Glue Data Quality-Regeln
- SOLL-Kriterien:
- Erfahrung mit serverlosen Cloud-Datenplattformen oder einer vergleichbaren Architektur zu DB360
- Erfahrung mit etablierten Data-Science-Verfahren für Prognose, Klassifikation oder Clustering
- Praktische Erfahrung mit Docker-Containern - Mindestens 3 Jahre
- Erfahrung mit Transport-/Logistikdaten und heterogenen Datenquellen, Datenformaten und Qualitätsanforderungen - Mindestens 1 Jahr
- Teilweise Übernahme von Product-Owner-Aufgaben (Anforderungsaufnahme und Priorisierung, Formulierung von User Stories, Backlog-Pflege oder Sprint-Planning)
About the company
Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Apply on www.westhouse-group.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Loading talks and stories from around this role…