> Markdown version of [/jobs/ext/2839220-data-engineer-azure-python-sozialversicherungspflichtig-angestellt](https://www.wearedevelopers.com/jobs/ext/2839220-data-engineer-azure-python-sozialversicherungspflichtig-angestellt). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Data Engineer (Azure & Python) - sozialversicherungspflichtig angestellt

- **Company:** Westhouse Consulting GmbH
- **Location:** Mainz, Germany
- **Experience:** Experienced
- **Contract:** Permanent contract
- **Skills:** Artificial Intelligence, Amazon Web Services, Automation of Tests, Microsoft Azure, Cloud Computing, Extract Transform Load (ETL), Data Vault Modeling, Data Warehousing, Machine Learning, Data Streaming, Data Processing, Azure Data Factory, Data Lakes, Star Schema, Apache Kafka, Azure Synapse Analytics
- **Published:** September 11, 2026
- **Apply:** https://www.westhouse-group.com/bewerbungsformular/?job-id=180101&post-id=64056

## About the Role

* (Muss) 4 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung von ETL-/ELT-Prozessen mit Python, SQL und PySpark in Cloud-Umgebungen.
 * (Muss) 4 Jahre Erfahrung in der Entwicklung und Modernisierung von Datenplattformen in Microsoft-Azure-Cloud-Umgebungen und Azure Services wie Azure Data Factory oder Azure Synapse.
 * (Muss) 4 Jahre Erfahrung in der Entwicklung von Batch- und Streaming-Datenpipelines sowie in der Kafka-basierten Datenverarbeitung zur Bereitstellung großer Datenmengen für Reporting-, Analyse-, KI- und ML-Anwendungsfälle.
 * (Muss) Erfahrung in der Integration heterogener Datenquellen, beispielsweise REST oder Kafka, sowie unterschiedlicher Datenformate in cloudbasierte Datenplattformen aus 2 Projekten
 * (Muss) 4 Jahre Erfahrung in der Modellierung von Daten heterogener Quellsysteme nach Medallion-Architektur mit Data Vault oder Star Schema
 * (Soll) Erfahrung in der Migration und Modernisierung bestehender Datenpipelines und Datenplattformen im Microsoft-Azure-Umfeld, inklusive Migration bestehender Azure-Synapse-Datenflüsse auf moderne cloudbasierte Datenplattformen aus einem Projekt
 * (Soll) 4 Jahre Erfahrung in der Konzeption und Umsetzung von Data-Hub- und Lakehouse- Architekturen.
 * (Soll) Erfahrung in der Implementierung und Optimierung von ETL-/ELT-Prozessen für die Verarbeitung großer Datenmengen im Cloud-Umfeld, inklusive Performance-Optimierung, Standardisierung von Entwicklungsprozessen und Review von Programmcode aus 2 Projekten
 * (Soll) Erfahrung in der Konzeption und Umsetzung von Data-Quality-Prüfungen, automatisierten Tests und technischen Qualitätssicherungsmaßnahmen für ETL-/ELT-Prozesse und Datenpipelines aus 2 Projekten

## Description

* Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen
 * Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
 * Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
 * Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
 * Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
 * Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
 * Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
 * Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
 * Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
 * Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
 * Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
 * Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen


## Related Videos

- [Empowering Retail Through Applied Machine Learning](https://www.wearedevelopers.com/videos/976-empowering-retail-through-applied-machine-learning)
- [Modern Data Architectures need Software Engineering](https://www.wearedevelopers.com/videos/1030-modern-data-architectures-need-software-engineering)
- [How to Benchmark Your Apache Kafka](https://www.wearedevelopers.com/videos/76-how-to-benchmark-your-apache-kafka)
- [From Messy Queries to Scalable Systems - How Data Engineering actually works](https://www.wearedevelopers.com/videos/100203-from-messy-queries-to-scalable-systems-how-data-engineering-actually-works)
- [Let's Get Started With Apache Kafka® for Python Developers](https://www.wearedevelopers.com/videos/565-let-s-get-started-with-apache-kafka-for-python-developers)
- [The Data Mesh as the end of the Datalake as we know it](https://www.wearedevelopers.com/videos/156-the-data-mesh-as-the-end-of-the-datalake-as-we-know-it)

## Related Articles

- [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany)
- [Data Analyst Salary Germany](https://www.wearedevelopers.com/magazine/277-data-analyst-salary-germany)
- [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market)
- [Backend Developer Salary in Germany [2023]](https://www.wearedevelopers.com/magazine/196-backend-developer-salary-in-germany-2023)
- [Fullstack developer salary in Germany [2023]](https://www.wearedevelopers.com/magazine/197-fullstack-developer-salary-in-germany-2023)
- [System change: restart as developer?](https://www.wearedevelopers.com/magazine/39-system-change-restart-as-developer)