Junior Data Engineer

Westhouse Consulting GmbH
6 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
German, English
Experience level
Junior

Job location

Tech stack

API
Amazon Web Services (AWS)
Amazon Web Services (AWS)
Data analysis
ETL
Data Structures
Data Visualization
Python
Scrum
Power BI
SQL Databases
Tableau
Spark
Boto3
Pandas
Data Lake
PySpark
Amazon Web Services (AWS)
Amazon Web Services (AWS)
Docker

Job description

  • Analyse und Beurteilung von Daten und Entwicklung von Daten Pipelines basierend auf der bestehenden Architektur und dem aktuellen Zonen-Konzept (raw - trusted - refined)
  • Erstellung von Datenvisualisierungen und -berichten
  • Automatisierung von Datenprozessen
  • Data Exploration von neuen Datenquellen sowie Implementierung von geeigneten Datenstrukturen
  • Fachliche Unterstützung im SCRUM Team, Teilnahme an Refinements, Plannings, Reviews, Retros
  • Erstellung von Daten-Pipelines auf Basis von Python, Apache Spark, PySpark, Pandas, SQL, Boto3 API, SNS, SQS und REST
  • Zur Pipeline Erstellung notwendige Implementierung, Konfiguration und Nutzung der serverless AWS-managed Infrastruktur, speziell AWS Batch, AWS S3, AWS Athena, AWS Glue, AWS MWAA

Requirements

  • Muss-Kriterien (bitte nur bewerben, wenn ALLE Muss-Kriterien erfüllt sind):
  • Mind. 1 Jahr Erfahrung in der SW-Entwicklung (z.B. GIT, CICD, Testing)
  • Mind. 1 Projekterfahrung in der Dashboard-Entwicklung mit z.B. PowerBi, QuickSight oder Tableau
  • Mind. 1 Jahr Projekterfahrung in der Entwicklung und Automatisierung von ETL-Strecken und der Datenmodellierung mittels der für die geforderte Pipeline-Entwicklung erforderlichen Tools und Programmiersprachen (SQL. Python,...)
  • Mind. 1 Projekterfahrung mit der für die Pipeline-Entwicklung erforderlichen AWS Cloud Technologien und deren Managed Services
  • Mind. Englischkenntnisse auf C1-Niveau
  • Soll-Kenntnisse:
  • Mind. 1 Projekterfahrung im Bereich Data Science und der Anwendung bestehender Prognose-/Klassifikations-/Clusteringalgorithmen
  • Mind. 1 Projekterfahrung mit agilen & skalierten Arbeitsmethoden
  • Mind. 1 Jahr Praktische Erfahrung mit Docker Containern
  • Mind. 1 Projekterfahrung in der Branche Transport & Logistik, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen auf vorgelagerten Data Lakes

Apply for this position