Data Engineer (AWS & Python)

• Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen
• Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
• Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
• Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
• Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
• Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
• Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
• Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
• Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
• Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
• Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
• Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen

• (Muss) 3 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung skalierbarer ETL-/ELT-Pipelines mit Python, SQL, PySpark und Apache Spark in Cloud-Umgebungen, in AWS und Azure
• (Muss) 3 Jahre Erfahrung in der Entwicklung, Migration, Modernisierung und dem Betrieb von Datenplattformen in AWS-Cloud-Umgebungen mit Services AWS Glue, Amazon S3 sowie idealerweise Erfahrungen mit AWS EMR, AWS Step Functions und Amazon EventBridge
• (Muss) Erfahrung in der Entwicklung von Datenverarbeitungs- und Machine-Learning-Anwendungen in Microsoft-Azure-Cloud-Umgebungen mit Azure Data Factory, PySpark, Python und Scala aus einem Projekt
• (Muss) 3 Jahre Erfahrung in der Migration und Modernisierung von Legacy-Datenanwendungen und On-Premise-Datenplattformen in Cloud-Umgebungen, inklusive Entwicklung von ETL-Migrationspipelines sowie Mapping und Validierung von Legacy- und Zieldatenmodellen
• (Muss) 3 Jahre Erfahrung in der Umsetzung von Datenqualitäts-, Test- und Monitoring-Lösungen für Datenpipelines, idealerweise auf Basis von Data Contracts
• (Soll) 3 Jahre Erfahrung in der Konzeption und Implementierung von DevOps Best Practices wie CI/CD-Prozessen, Infrastructure as Code und automatisierten Tests für die Bereitstellung cloudbasierter Datenpipelines und Plattformkomponenten in AWS- und Microsoft-Azure
• (Soll) Nachweis aktueller Zertifizierungen im Bereich Data Engineering (AWS Certified Data Engineer)
• (Soll) Erfahrung in der Entwicklung, dem Training und der Validierung von Machine-Learning- und Predictive-Analytics-Modellen in Azure-Cloud-Umgebungen sowie in der Orchestrierung der zugehörigen Datenpipelines mit Azure Data Factory aus einem Projekt
• (Soll) Erfahrung in der Konzeption und Implementierung von moderenen Data Governance Lösungen wie Data Contracts, Data Lineage, Medallion-Architekturen für Datenplattformen aus 3 Projekten

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.