> Markdown version of [/jobs/ext/2842117-data-engineer-aws-python](https://www.wearedevelopers.com/jobs/ext/2842117-data-engineer-aws-python). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Data Engineer (AWS & Python)

- **Company:** Westhouse Consulting GmbH
- **Location:** Mainz, Germany
- **Experience:** Experienced
- **Contract:** Permanent contract
- **Skills:** Artificial Intelligence, Amazon Web Services, Amazon S3, Automation of Tests, Microsoft Azure, Cloud Computing, Continuous Integration, Information Engineering, Data Governance, Extract Transform Load (ETL), Data Warehousing, DevOps, Python (Programming Language), Machine Learning, Scala (Programming Language), Data Processing, Azure Data Factory, Data Lakes, Pyspark, Data Lineage, AWS Glue, Amazon Elastic Mapreduce (EMR)
- **Published:** September 11, 2026
- **Apply:** https://www.westhouse-group.com/bewerbungsformular/?job-id=180100&post-id=64055

## About the Role

* (Muss) 3 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung skalierbarer ETL-/ELT-Pipelines mit Python, SQL, PySpark und Apache Spark in Cloud-Umgebungen, in AWS und Azure
 * (Muss) 3 Jahre Erfahrung in der Entwicklung, Migration, Modernisierung und dem Betrieb von Datenplattformen in AWS-Cloud-Umgebungen mit Services AWS Glue, Amazon S3 sowie idealerweise Erfahrungen mit AWS EMR, AWS Step Functions und Amazon EventBridge
 * (Muss) Erfahrung in der Entwicklung von Datenverarbeitungs- und Machine-Learning-Anwendungen in Microsoft-Azure-Cloud-Umgebungen mit Azure Data Factory, PySpark, Python und Scala aus einem Projekt
 * (Muss) 3 Jahre Erfahrung in der Migration und Modernisierung von Legacy-Datenanwendungen und On-Premise-Datenplattformen in Cloud-Umgebungen, inklusive Entwicklung von ETL-Migrationspipelines sowie Mapping und Validierung von Legacy- und Zieldatenmodellen
 * (Muss) 3 Jahre Erfahrung in der Umsetzung von Datenqualitäts-, Test- und Monitoring-Lösungen für Datenpipelines, idealerweise auf Basis von Data Contracts
 * (Soll) 3 Jahre Erfahrung in der Konzeption und Implementierung von DevOps Best Practices wie CI/CD-Prozessen, Infrastructure as Code und automatisierten Tests für die Bereitstellung cloudbasierter Datenpipelines und Plattformkomponenten in AWS- und Microsoft-Azure
 * (Soll) Nachweis aktueller Zertifizierungen im Bereich Data Engineering (AWS Certified Data Engineer)
 * (Soll) Erfahrung in der Entwicklung, dem Training und der Validierung von Machine-Learning- und Predictive-Analytics-Modellen in Azure-Cloud-Umgebungen sowie in der Orchestrierung der zugehörigen Datenpipelines mit Azure Data Factory aus einem Projekt
 * (Soll) Erfahrung in der Konzeption und Implementierung von moderenen Data Governance Lösungen wie Data Contracts, Data Lineage, Medallion-Architekturen für Datenplattformen aus 3 Projekten

## Description

* Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen
 * Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
 * Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
 * Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
 * Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
 * Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
 * Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
 * Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
 * Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
 * Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
 * Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
 * Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen


## Related Videos

- [Modern Data Architectures need Software Engineering](https://www.wearedevelopers.com/videos/1030-modern-data-architectures-need-software-engineering)
- [How we built an AI-powered code reviewer in 80 hours](https://www.wearedevelopers.com/videos/1511-how-we-built-an-ai-powered-code-reviewer-in-80-hours)
- [PySpark - Combining Machine Learning & Big Data](https://www.wearedevelopers.com/videos/44-pyspark-combining-machine-learning-big-data)
- [From DevOps to Scaled DevOps: How We’re Rebuilding Continuous Delivery as a Platform](https://www.wearedevelopers.com/videos/100018-from-devops-to-scaled-devops-how-we-re-rebuilding-continuous-delivery-as-a-platform)
- [Empowering Retail Through Applied Machine Learning](https://www.wearedevelopers.com/videos/976-empowering-retail-through-applied-machine-learning)
- [Data Science in Retail](https://www.wearedevelopers.com/videos/586-data-science-in-retail)

## Related Articles

- [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany)
- [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market)
- [Backend Developer Salary in Germany [2023]](https://www.wearedevelopers.com/magazine/196-backend-developer-salary-in-germany-2023)
- [Fullstack developer salary in Germany [2023]](https://www.wearedevelopers.com/magazine/197-fullstack-developer-salary-in-germany-2023)
- [Top-Paying Tech Jobs (with Salaries)](https://www.wearedevelopers.com/magazine/372-top-paying-tech-jobs-with-salaries)
- [Data Analyst Salary Germany](https://www.wearedevelopers.com/magazine/277-data-analyst-salary-germany)