Senior / Lead Data Engineer - AWS, Python & PySpark

GULP Information Services GmbH
Berlin, Germany
1 day ago
Apply on www.careerjet.de
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
3 years minimum
Working hours
Regular working hours

Tech stack

Amazon Web Services Amazon S3 Data Analysis Big Data Cloud Computing Continuous Integration Information Engineering Extract Transform Load (ETL) DevOps Python (Programming Language) Software Engineering SQL Databases
+6 more
Data Streaming Data Processing Apache Spark Git Data Lakes Pyspark

Requirements

Must-Have: Strategische Weiterentwicklung: Einschlägige Berufserfahrung im Bereich der strategischen und technologischen Weiterentwicklung moderner Architekturen und Technologien in den Bereichen Big Data und Daten Analyse - (> 5 Jahre Erfahrung) Must-Have: Nachgewiesene Kenntnisse des grundsätzlichen Aufbaus von cloud-nativen Datenplattformen mit batch- sowie streaming-Datenverarbeitung, inklusive praktische Erfahrung als Lead Data Engineer - (> 5 Jahre Erfahrung) Must-Have: Umfangreiche Erfahrung in der Entwicklung von ETL Strecken einschließlich Kenntnisse der Tools, Konzepte oder Programmiersprachen: Python, pySpark, Apache Spark, SQL, AWS MWAA. - (> 3 Jahre Erfahrung) Must-Have: Umfangreiche Projekterfahrungen mit Cloud Technologien idealerweise AWS und deren managed Services (S3, Athena, Glue, MWAA), idealerweise inklusive relevanter Zertifikate - (> 3 Jahre Erfahrung) Must-Have: Einschlägige mehrjährige Berufserfahrung in der SW-Entwicklung (GIT, CICD, Testing, DevOps) - (> 5 Jahre Erfahrung) Cloud-Architekturverständnis: Architekturverständnis AWS Datenplattformen im Eisenbahnsektor - 1 Referenz Kenntnisse der jeweils anderen Disziplin (Data Science Data Engineering): Erfahrung im Bereich Data Science und der Anwendung bestehender Prognose-/Klassifikations-/Clusteringalgorithmen sowie der End-to-End Operationalisierung von Data Science Use Cases (z. B. autom. Re-Training) - 1 Referenz Kenntnisse agiler & skalierter Arbeitsmethoden - 1 Referenz Erfahrung im Umgang mit typischen Projekten und Daten in der Branche von Eisenbahnverkehrsunternehmen, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen auf vorgelagerten Data Lakes - 1 Referenz Praktische Erfahrung mit AWS Sagemaker - (> 3 Jahre Erfahrung) Praktische Erfahrung mit IDE: pyCharm - (> 3 Jahre Erfahrung)

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.careerjet.de
Prepare application

Good distractions

Loading talks and stories from around this role…