(Lead) Data Engineer | Data Lakehouse & Cloud-Architektur

Unsere Kunden lösen gewachsene Datensilos auf und bauen cloudbasierte Lakehouse-Plattformen für Analytics, regulatorisches Reporting und fachlich verantwortete Data. Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestaltest du diese Plattformen mit:

• Du entwirfst und implementierst skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-Time-Verarbeitung gleichermaßen tragen.
• Du baust und optimierst Du baust und optimierst Du baust und optimierst stabile robuste Datenstrecken mit Python, SQL und PySpark - entlang der Medallion-Architektur von Bronze bis Gold.
• Du konzipierst event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien.
• Du machst ausdaten Daten aus verlässliche Data Products: mit Governance, Metadatenmanagement, Datenqualitätskontrollen und Data Contracts, die Schemata, SLAs, Qualitätserwartungen und Versionierung verbindlich festhalten.
• Du orchestrierst Workflows und etablierst CI/CD-Prozesse, die ein Team auch dann noch trägt, wenn die Plattform gewachsen ist.
• Du arbeitest eng mit cross-funktionalen Agile- und DevOps-Teams zusammen und gibst dabei fachliche Orientierung - Architekturentscheidungen, Best Practices, technische Führung.

Mindestens drei bis fünf Jahre Berufserfahrung als Data Engineer sowie fundiertes Fachwissen in einem oder in mehreren der folgenden Bereiche solltest du vorweisen können:

• Databricks & Spark: Azure Databricks oder Databricks on GCP, PySpark, Spark SQL, Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement), Unity Catalog, Performance Tuning und Partitionierungstrategien.
• Cloud-Plattformen: fundierte Praxis mit MS Azure und/oder Google Cloud Platform sowie deren Datendienste und Architekturmuster.
• Streaming & Event-Driven Architecture: Apache Kafka, AMQP oder vergleichbare Messaging-Technologien im produktiven Einsatz.
• Datenmodellierung: Medallion-Architektur, dimensionale Modellierung, Schema Design - dazu Sicherheit im Umgang mit Parquet, Avro, Delta und Iceberg.
• Governance & Data Mesh: Enterprise Data Catalogs (Unity Catalog, Google Dataplex, Alation o.ä.), Data Contracts, Metadatenmanagement sowie domänenorientierte Data-Ownership-Modelle.
• Orchestrierung: Apache Airflow, Azure Data Factory, Databricks Workflows, Dagster oder Prefect - inklusive Scheduling, Monitoring und Alerting.
• CI/CD & Automatisierung: GitHub Actions oder Jenkins, Databricks Asset Bundles, Docker, Git; Infrastructure as Code mit Terraform oder Ansible ist ein deutliches Plus.
• Zusätzlich Willkommen: Erfahrung mit der Anbindung von Legacy-Quellen (Mainframe EBCDIC, COBOL-Copybooks, Fixed-Width-Files, SFTP) und mit Backend-/API-Entwicklung in Python (FastAPI, Flask, Pydantic, OpenAPI).

Was du darüber hinaus mitbringen: Du hast gute Fähigkeiten und Fähigkeiten.

• Selbstständige Arbeitsweise sowie starke analytische und kommunikative Fähigkeiten.
• Die Fähigkeit, technische Sachverhalte verständlich zu erklären - bei uns sitzt du regelmäßig mit Fachbereichen an einem Tisch, nicht nur mit Entwicklern.
• Erfahrung in agilen, cross-funktionalen Teams und Lust darauf, technisch Verantwortung zu übernehmen.
• Interesse an Finanzmärkten und Kapitalmarktprozessen; Berührungspunkte mit Trading- und Clearing-Daten oder regulatorischem Reporting sind ein deutliches Plus.
• Sauberer Umgang mit Git, Code Reviews und CI/CD; Erfahrung mit gängigen PM-Tools wie JIRA und Confluence.
• Erfahrungen in einer Beratungsfirma sind ein Plus.
• Verhandlungssichere Deutsch- und Englischkenntnisse in Wort und Schrift sind ein Muss.

• Eigenverantwortliches Arbeiten und Direkteinstieg in die Projektwelt mit individueller Betreuung durch einen persönlichen Mentor.
• Tatkräftige Unterstützung durch ein eingespieltes und erfahrenes Team.
• Ausgezeichnete Entwicklungsmöglichkeiten und persönliche Karriereplanung mit 2-Säulen-Karrieremodell.
• International anerkannte Weiterbildungsprogramme.
• Attraktive Vergütung.
• Exzellente Ausstattung, Deutschland Ticket, Parkplatz, Job-Rad.
• Funktionierende Work-Life-Balance.
• Offene und kollegiale Firmenkultur mit flachen Hierarchien und Team Building in lockerer Atmosphäre.

Seit nunmehr 25 Jahren gestalten wir von x-markets consulting als kleine, feine Beratungsboutique den Kapitalmarkt mit unseren hochwertigen Leistungen für namhafte Kunden aus der Banken- und Börsenwelt aktiv mit. Dabei stehen wir für Consulting auf Augenhöhe und maßgeschneiderte Lösungen rund um Themen wie Finanzmarktregulierung, Handelsabwicklung, Digitalisierung, Nachhaltigkeit und Informationssicherheit.