> Markdown version of [/jobs/ext/2896607-lead-data-engineer-data-lakehouse-cloud-architektur](https://www.wearedevelopers.com/jobs/ext/2896607-lead-data-engineer-data-lakehouse-cloud-architektur). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # (Lead) Data Engineer | Data Lakehouse & Cloud-Architektur - **Company:** x-markets consulting - **Location:** Eschborn, Germany - **Experience:** Expert - **Contract:** Permanent contract - **Skills:** Application Programming Interfaces (APIs), Agile Methodology, Airflow, Advanced Message Queuing Protocol, Data Analysis, Architectural Patterns, Confluence, JIRA, Microsoft Azure, Cloud Computing, COBOL (Programming Language), Code Review, Continuous Integration, DevOps, Dimensional Modeling, Github, Apache Hive, Python (Programming Language), Mainframes, Performance Tuning, Ansible, SQL Databases, Data Streaming, Management of Software Versions, Openapi, Enterprise Data Management, Parquet, Google Cloud, File Transfer Protocol (FTP), Cloud Platform System, Azure Data Factory, Flask (Web Framework), Apache Spark, Backend, Git, Fastapi, Event Driven Architecture, Data Lakes, Pyspark, Avro, Apache Kafka, Data Lakehouse, Terraform, Docker, Jenkins, Databricks - **Published:** September 14, 2026 - **Apply:** https://www.adzuna.de/details/5882634585 ## About the Role Mindestens drei bis fünf Jahre Berufserfahrung als Data Engineer sowie fundiertes Fachwissen in einem oder in mehreren der folgenden Bereiche solltest du vorweisen können: * Databricks & Spark: Azure Databricks oder Databricks on GCP, PySpark, Spark SQL, Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement), Unity Catalog, Performance Tuning und Partitionierungstrategien. * Cloud-Plattformen: fundierte Praxis mit MS Azure und/oder Google Cloud Platform sowie deren Datendienste und Architekturmuster. * Streaming & Event-Driven Architecture: Apache Kafka, AMQP oder vergleichbare Messaging-Technologien im produktiven Einsatz. * Datenmodellierung: Medallion-Architektur, dimensionale Modellierung, Schema Design - dazu Sicherheit im Umgang mit Parquet, Avro, Delta und Iceberg. * Governance & Data Mesh: Enterprise Data Catalogs (Unity Catalog, Google Dataplex, Alation o.ä.), Data Contracts, Metadatenmanagement sowie domänenorientierte Data-Ownership-Modelle. * Orchestrierung: Apache Airflow, Azure Data Factory, Databricks Workflows, Dagster oder Prefect - inklusive Scheduling, Monitoring und Alerting. * CI/CD & Automatisierung: GitHub Actions oder Jenkins, Databricks Asset Bundles, Docker, Git; Infrastructure as Code mit Terraform oder Ansible ist ein deutliches Plus. * Zusätzlich Willkommen: Erfahrung mit der Anbindung von Legacy-Quellen (Mainframe EBCDIC, COBOL-Copybooks, Fixed-Width-Files, SFTP) und mit Backend-/API-Entwicklung in Python (FastAPI, Flask, Pydantic, OpenAPI). Was du darüber hinaus mitbringen: Du hast gute Fähigkeiten und Fähigkeiten. * Selbstständige Arbeitsweise sowie starke analytische und kommunikative Fähigkeiten. * Die Fähigkeit, technische Sachverhalte verständlich zu erklären - bei uns sitzt du regelmäßig mit Fachbereichen an einem Tisch, nicht nur mit Entwicklern. * Erfahrung in agilen, cross-funktionalen Teams und Lust darauf, technisch Verantwortung zu übernehmen. * Interesse an Finanzmärkten und Kapitalmarktprozessen; Berührungspunkte mit Trading- und Clearing-Daten oder regulatorischem Reporting sind ein deutliches Plus. * Sauberer Umgang mit Git, Code Reviews und CI/CD; Erfahrung mit gängigen PM-Tools wie JIRA und Confluence. * Erfahrungen in einer Beratungsfirma sind ein Plus. * Verhandlungssichere Deutsch- und Englischkenntnisse in Wort und Schrift sind ein Muss. ## Description Unsere Kunden lösen gewachsene Datensilos auf und bauen cloudbasierte Lakehouse-Plattformen für Analytics, regulatorisches Reporting und fachlich verantwortete Data. Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestaltest du diese Plattformen mit: * Du entwirfst und implementierst skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-Time-Verarbeitung gleichermaßen tragen. * Du baust und optimierst Du baust und optimierst Du baust und optimierst stabile robuste Datenstrecken mit Python, SQL und PySpark - entlang der Medallion-Architektur von Bronze bis Gold. * Du konzipierst event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien. * Du machst ausdaten Daten aus verlässliche Data Products: mit Governance, Metadatenmanagement, Datenqualitätskontrollen und Data Contracts, die Schemata, SLAs, Qualitätserwartungen und Versionierung verbindlich festhalten. * Du orchestrierst Workflows und etablierst CI/CD-Prozesse, die ein Team auch dann noch trägt, wenn die Plattform gewachsen ist. * Du arbeitest eng mit cross-funktionalen Agile- und DevOps-Teams zusammen und gibst dabei fachliche Orientierung - Architekturentscheidungen, Best Practices, technische Führung. ## Related Videos - [Improving quality with Agentic AI with Rovo Dev and Xray](https://www.wearedevelopers.com/videos/2005-improving-quality-with-agentic-ai-with-rovo-dev-and-xray) - [From event streaming to event sourcing 101](https://www.wearedevelopers.com/videos/91-from-event-streaming-to-event-sourcing-101) - [How a Small Team Shrank a Microsoft Monorepo by 94%](https://www.wearedevelopers.com/videos/1236-how-a-small-team-shrank-a-microsoft-monorepo-by-94) - [Modern Data Architectures need Software Engineering](https://www.wearedevelopers.com/videos/1030-modern-data-architectures-need-software-engineering) - [Collaboration Quantified: Lessons from Open Source Developer Networks](https://www.wearedevelopers.com/videos/1422-collaboration-quantified-lessons-from-open-source-developer-networks) - [Introducing JSON Structure](https://www.wearedevelopers.com/videos/100219-introducing-json-structure) ## Related Articles - [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany) - [The Biggest German Tech Companies](https://www.wearedevelopers.com/magazine/424-the-biggest-german-tech-companies) - [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market) - [System change: restart as developer?](https://www.wearedevelopers.com/magazine/39-system-change-restart-as-developer) - [Data Analyst Salary Germany](https://www.wearedevelopers.com/magazine/277-data-analyst-salary-germany) - [Top-Paying Tech Jobs (with Salaries)](https://www.wearedevelopers.com/magazine/372-top-paying-tech-jobs-with-salaries)