Senior Data Engineer

Spotmyenergy Gmbh

Köln, Germany

7 days ago

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Expert

Working hours

Regular working hours

Languages

German

Job source

Airflow Amazon Web Services Python (Programming Language) PostgreSQL SQL Databases Time Series Databases Apache Spark Data Lakes Databricks

Aufbau und Betrieb unseres Data Lake sowie der BI-Plattform auf Databricks
Entwurf, Bau und Wartung von Airflow-Pipelines für Messwert- und Energiedaten
Modellierung und Optimierung unserer Postgres- und Zeitreihendatenbanken
Verantwortung für Monitoring, Alerting und Incident Response, damit Probleme früh auffallen statt spät
Bereitstellung sauberer, gut strukturierter Daten als Service für alle Squads, inklusive eigener Deep-Dive-Analysen bei Bedarf
Technische Weiterentwicklung der Datenplattform, inklusive Auswahl und Einführung neuer Tools, wo sie echten Mehrwert bringen
Dokumentation und aktive Wissensteilung im Team, statt Wissen nur im eigenen Kopf zu behalten
Enger Austausch mit dem Data-Science-Team, das sich auf die Plattform als Fundament verlassen können soll

Mehrere Jahre Erfahrung im Aufbau und Betrieb produktiver Datenplattformen oder Data Lakes
Fundierte Kenntnisse in Databricks/Spark sowie Airflow oder vergleichbaren Orchestrierungstools
Sehr gutes SQL, tiefe Postgres-Erfahrung, Erfahrung mit Zeitreihendatenbanken wie TimescaleDB und sicheres Python
Sicherer Umgang mit AWS, idealerweise inklusive managed Airflow über Astronomer und Databricks als Hosted Service
Ein echtes Zuverlässigkeits-Mindset - Monitoring, Alerting und mögliche Fehlerfälle werden von Anfang an mitgedacht
Starker Teamplayer mit fließenden Deutschkenntnissen und Erfahrung im Energiesektor sind ein Plus