Senior / Lead Data Engineer - AWS, Python & PySpark
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Tech stack
+6 more
Requirements
Must-Have: Strategische Weiterentwicklung: Einschlägige Berufserfahrung im Bereich der strategischen und technologischen Weiterentwicklung moderner Architekturen und Technologien in den Bereichen Big Data und Daten Analyse - (> 5 Jahre Erfahrung) Must-Have: Nachgewiesene Kenntnisse des grundsätzlichen Aufbaus von cloud-nativen Datenplattformen mit batch- sowie streaming-Datenverarbeitung, inklusive praktische Erfahrung als Lead Data Engineer - (> 5 Jahre Erfahrung) Must-Have: Umfangreiche Erfahrung in der Entwicklung von ETL Strecken einschließlich Kenntnisse der Tools, Konzepte oder Programmiersprachen: Python, pySpark, Apache Spark, SQL, AWS MWAA. - (> 3 Jahre Erfahrung) Must-Have: Umfangreiche Projekterfahrungen mit Cloud Technologien idealerweise AWS und deren managed Services (S3, Athena, Glue, MWAA), idealerweise inklusive relevanter Zertifikate - (> 3 Jahre Erfahrung) Must-Have: Einschlägige mehrjährige Berufserfahrung in der SW-Entwicklung (GIT, CICD, Testing, DevOps) - (> 5 Jahre Erfahrung) Cloud-Architekturverständnis: Architekturverständnis AWS Datenplattformen im Eisenbahnsektor - 1 Referenz Kenntnisse der jeweils anderen Disziplin (Data Science Data Engineering): Erfahrung im Bereich Data Science und der Anwendung bestehender Prognose-/Klassifikations-/Clusteringalgorithmen sowie der End-to-End Operationalisierung von Data Science Use Cases (z. B. autom. Re-Training) - 1 Referenz Kenntnisse agiler & skalierter Arbeitsmethoden - 1 Referenz Erfahrung im Umgang mit typischen Projekten und Daten in der Branche von Eisenbahnverkehrsunternehmen, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen auf vorgelagerten Data Lakes - 1 Referenz Praktische Erfahrung mit AWS Sagemaker - (> 3 Jahre Erfahrung) Praktische Erfahrung mit IDE: pyCharm - (> 3 Jahre Erfahrung)
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Loading talks and stories from around this role…