Data Engineer (AWS & Schienenverkehr)

• Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
• Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
• Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
• Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
• Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
• Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
• Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
• Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
• Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
• Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
• Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen

• (Muss) 4 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten, sowie in der Implementierung skalierbarer ETL-/ELT-Pipelines mit Python, SQL, PySpark und Apache Spark in Cloud-Umgebungen.
• (Muss) 4 Jahre Erfahrung in der Entwicklung von Datenplattformen in Microsoft-Azure- und AWS-Cloud-Umgebungen mit Azure Data Factory, AWS Glue und Amazon S3.
• (Muss) 4 Jahre Erfahrung in der Migration und Modernisierung von Legacy-Datenplattformen und On-Premise-Systemen in Cloud-Umgebungen, inklusive Refactoring und Anpassung bestehender Datenstrecken an cloud-native Technologien.
• (Muss) Erfahrung in der Analyse, Integration, Modellierung und Aufbereitung von Stamm- und Transaktionsdaten des Schienengüterverkehrs aus heterogenen Quellsystemen aus 3 Projekten
• (Soll) 3 Jahre Erfahrung in der Konzeption und Implementierung von CI/CD-Pipelines, Entwicklungsstandards, automatisierten Tests sowie Monitoring- und Logging-Lösungen für den Betrieb von Datenprodukten.
• (Soll) 3 Jahre Erfahrung in der Konzeption von Datenarchitekturen und Datenprodukt-Blueprints sowie in der Umsetzung von Data Governance, Data Contracts und Berechtigungsmanagement auf cloudbasierten Datenplattformen.
• (Soll) 3 Jahre Erfahrung in agilen Teams in SAFe Organisationen und der Nutzung von Jira und Confluence sowie Erfahrung in der Planung und Durchführung von Stakeholder-Workshops.

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.