> Markdown version of [/jobs/ext/4100090-senior-data-engineer-azure-databricks](https://www.wearedevelopers.com/jobs/ext/4100090-senior-data-engineer-azure-databricks). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Senior Data Engineer (Azure Databricks)

- **Company:** Callista Group AG
- **Location:** Frankfurt am Main, Germany
- **Experience:** Expert
- **Contract:** Temporary contract
- **Skills:** Application Programming Interfaces (APIs), Artificial Intelligence, Microsoft Azure, Computer Programming, Continuous Integration, Information Engineering, Data Files, Extract Transform Load (ETL), Data Vault Modeling, Data Warehousing, Dimensional Modeling, SQL Databases, Azure Data Factory, Apache Spark, Git, Data Lakes, Pyspark, Databricks
- **Published:** October 6, 2026
- **Apply:** https://www.indeed.com/viewjob?jk=c7f2f1de8f318565

## About the Role

* Mehrjährige Erfahrung als Data Engineer, idealerweise im Aufbau von Data-Warehouse- oder Lakehouse-Lösungen
 * Sehr gute Kenntnisse in Databricks, PySpark/Spark, SQL und Delta Lake
 * Praxis mit Databricks Workflows bzw. Azure Data Factory und weiteren Azure-Datenservices
 * Erfahrung in Datenmodellierung und Historisierung (Data Vault und/oder dimensionale Modellierung)
 * Kenntnisse in Git, CI/CD und automatisiertem Testing von Datenpipelines
 * Erfahrung mit KI-gestützter Entwicklung (z. B. Coding-Assistenten, agentische Workflows) von Vorteil
 * Erfahrung mit Quellsystemen und Daten im Versicherungsumfeld von Vorteil
 * Freude an Wissensvermittlung und Zusammenarbeit im gemischten Team
 * Databricks- oder Azure-Data-Engineer-Zertifizierung von Vorteil
 * Verhandlungssichere Deutsch- und gute Englischkenntnisse

## Description

* Anbindung von Quellsystemen und externen Dienstleistern (Delta-Lieferungen, Dateien, APIs) sowie eines CRM-Systems inklusive automatisierter Ladeprozesse
 * Entwicklung von ETL/ELT-Strecken mit Delta-Verarbeitung, Fehlerbehandlung und nachvollziehbaren Wiederanlaufverfahren
 * Umsetzung der Dublettenbereinigung und Zusammenführung von Kunden- und Vermittlerdaten
 * Implementierung des Core-Datenmodells mit Historisierung entlang der Medallion-Architektur (Databricks, PySpark, SQL)
 * Umsetzung von Datenqualitätsregeln, Prüfroutinen, Monitoring und Alerting
 * Bereitstellung von Exporten und Rückflüssen an operative Systeme (z. B. Kampagnenselektionen für das CRM)
 * Mitarbeit an Entwicklungspipeline und CI/CD, Rollen und Berechtigungen, Data Catalog und Lineage
 * Dokumentation, Runbooks und Wissenstransfer im Tandem mit dem Kundenteam