Data Engineer
Westhouse Consulting GmbH
8 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
GermanJob location
Tech stack
Geographic Information Systems
Amazon Web Services (AWS)
Confluence
Information Engineering
Data Governance
Python
Power BI
SQL Databases
Spark
Gitlab
Machine Learning Operations
Job description
- Umsetzung von User Stories und technischen Aufgaben in Jira
- Entwicklung von Datenpipelines zur Datenaufnahme und -verarbeitung
- Entwicklung von Datenmodellen für die Speicherung von Daten
- Integration von Daten aus verschiedenen Quellen
- Implementierung von Data Governance- und Sicherheitsrichtlinien
- Optimierung von Datenverarbeitungsprozessen
- Bereitstellung von aufbereiteten Daten für das Reporting
- Automatisierung von Datenprozessen
- Entwicklung von Lösungen zur Skalierung von Dateninfrastrukturen
- Durchführung von Ad hoc Analysen und Plausibilisierungen
- Dokumentation in Confluence
- Code-Verwaltung in GitLab
Requirements
- (Muss) Hands-on Erfahrung in der Nutzung von Serverless Data Processing und Integration Technologien wie AWS Glue und Lambda
- (Muss) Praktische Erfahrung in der Umsetzung von Berichten und interaktiven Dashboards in MS Power BI
- (Muss) Praktische Erfahrung in der Umsetzung von Data Engineering Projekten in der AWS Cloud im Enterprise Umfeld
- (Muss) Praktische Erfahrung in der Umsetzung von effizienten Daten-Workflows mit Apache Spark, AWS Sagemaker oder Python
- (Muss) Praktische Erfahrung in der automatisierten Verarbeitung von Geodaten mittels PTV Visum, OpenStreetMap oder Python
- Praktische Erfahrung mit der Anbindung und Aufbereitung von Instand-haltungsdaten.
- Sehr gute SQL-Kenntnisse
- Kenntnisse aus dem Bereich Maschine Learning und MLOps
- Nachgewiesene Kenntnisse aus dem Bereich Data Engineering oder Data Science.
