Senior Data Engineer (Azure Databricks)

Callista Group AG

Frankfurt am Main, Germany

29 days ago

Apply on www.indeed.com

Prepare application

Role details

Contract type

Temporary contract

Employment type

Full-time (> 32 hours)

Experience level

Expert

Working hours

Regular working hours

Languages

English, German

Job source

www.indeed.com

Tech stack

Application Programming Interfaces (APIs) Artificial Intelligence Microsoft Azure Computer Programming Continuous Integration Information Engineering Data Files Extract Transform Load (ETL) Data Vault Modeling Data Warehousing Dimensional Modeling SQL Databases

+6 more

Azure Data Factory Apache Spark Git Data Lakes Pyspark Databricks

Job description

Anbindung von Quellsystemen und externen Dienstleistern (Delta-Lieferungen, Dateien, APIs) sowie eines CRM-Systems inklusive automatisierter Ladeprozesse
Entwicklung von ETL/ELT-Strecken mit Delta-Verarbeitung, Fehlerbehandlung und nachvollziehbaren Wiederanlaufverfahren
Umsetzung der Dublettenbereinigung und Zusammenführung von Kunden- und Vermittlerdaten
Implementierung des Core-Datenmodells mit Historisierung entlang der Medallion-Architektur (Databricks, PySpark, SQL)
Umsetzung von Datenqualitätsregeln, Prüfroutinen, Monitoring und Alerting
Bereitstellung von Exporten und Rückflüssen an operative Systeme (z. B. Kampagnenselektionen für das CRM)
Mitarbeit an Entwicklungspipeline und CI/CD, Rollen und Berechtigungen, Data Catalog und Lineage
Dokumentation, Runbooks und Wissenstransfer im Tandem mit dem Kundenteam

Requirements

Mehrjährige Erfahrung als Data Engineer, idealerweise im Aufbau von Data-Warehouse- oder Lakehouse-Lösungen
Sehr gute Kenntnisse in Databricks, PySpark/Spark, SQL und Delta Lake
Praxis mit Databricks Workflows bzw. Azure Data Factory und weiteren Azure-Datenservices
Erfahrung in Datenmodellierung und Historisierung (Data Vault und/oder dimensionale Modellierung)
Kenntnisse in Git, CI/CD und automatisiertem Testing von Datenpipelines
Erfahrung mit KI-gestützter Entwicklung (z. B. Coding-Assistenten, agentische Workflows) von Vorteil
Erfahrung mit Quellsystemen und Daten im Versicherungsumfeld von Vorteil
Freude an Wissensvermittlung und Zusammenarbeit im gemischten Team
Databricks- oder Azure-Data-Engineer-Zertifizierung von Vorteil
Verhandlungssichere Deutsch- und gute Englischkenntnisse

Benefits & conditions

Dauer: bis 31.03.2027 mit Option auf Verlängerung (Folgephasen geplant bis Ende 2028)
Arbeitsort: Großraum Frankfurt am Main (Deutschland)
Onsite/Remote: In den ersten 2-3 Monaten hoher Onsite-Anteil (3-4 Tage pro Woche), danach ca. 2 Tage onsite, Rest remote
Kundengespräch: Verfügbarkeit für Interviews beim Kunden Ende Oktober 2026

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.indeed.com

Prepare application

Good distractions

Loading talks and stories from around this role…