> Markdown version of [/jobs/ext/4793875-senior-lead-data-engineer-aws-python-pyspark](https://www.wearedevelopers.com/jobs/ext/4793875-senior-lead-data-engineer-aws-python-pyspark). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # Senior / Lead Data Engineer - AWS, Python & PySpark - **Company:** GULP Information Services GmbH - **Location:** Berlin, Germany - **Experience:** Expert - **Contract:** Permanent contract - **Skills:** Amazon Web Services, Amazon S3, Data Analysis, Big Data, Cloud Computing, Continuous Integration, Information Engineering, Extract Transform Load (ETL), DevOps, Python (Programming Language), Software Engineering, SQL Databases, Data Streaming, Data Processing, Apache Spark, Git, Data Lakes, Pyspark - **Published:** November 20, 2026 - **Apply:** https://www.careerjet.de/jobad/de5f3f08cc65e4242242a04933322fbe6c ## About the Role Must-Have: Strategische Weiterentwicklung: Einschlägige Berufserfahrung im Bereich der strategischen und technologischen Weiterentwicklung moderner Architekturen und Technologien in den Bereichen Big Data und Daten Analyse - (> 5 Jahre Erfahrung) Must-Have: Nachgewiesene Kenntnisse des grundsätzlichen Aufbaus von cloud-nativen Datenplattformen mit batch- sowie streaming-Datenverarbeitung, inklusive praktische Erfahrung als Lead Data Engineer - (> 5 Jahre Erfahrung) Must-Have: Umfangreiche Erfahrung in der Entwicklung von ETL Strecken einschließlich Kenntnisse der Tools, Konzepte oder Programmiersprachen: Python, pySpark, Apache Spark, SQL, AWS MWAA. - (> 3 Jahre Erfahrung) Must-Have: Umfangreiche Projekterfahrungen mit Cloud Technologien idealerweise AWS und deren managed Services (S3, Athena, Glue, MWAA), idealerweise inklusive relevanter Zertifikate - (> 3 Jahre Erfahrung) Must-Have: Einschlägige mehrjährige Berufserfahrung in der SW-Entwicklung (GIT, CICD, Testing, DevOps) - (> 5 Jahre Erfahrung) Cloud-Architekturverständnis: Architekturverständnis AWS Datenplattformen im Eisenbahnsektor - 1 Referenz Kenntnisse der jeweils anderen Disziplin (Data Science Data Engineering): Erfahrung im Bereich Data Science und der Anwendung bestehender Prognose-/Klassifikations-/Clusteringalgorithmen sowie der End-to-End Operationalisierung von Data Science Use Cases (z. B. autom. Re-Training) - 1 Referenz Kenntnisse agiler & skalierter Arbeitsmethoden - 1 Referenz Erfahrung im Umgang mit typischen Projekten und Daten in der Branche von Eisenbahnverkehrsunternehmen, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen auf vorgelagerten Data Lakes - 1 Referenz Praktische Erfahrung mit AWS Sagemaker - (> 3 Jahre Erfahrung) Praktische Erfahrung mit IDE: pyCharm - (> 3 Jahre Erfahrung)