Data Engineer bei control-f GmbH

Instaffo GmbH
Heidelberg, Germany
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
German

Job location

Heidelberg, Germany

Tech stack

Azure
Continuous Integration
SQL Azure
Azure
Data Lake
PySpark
Spark Streaming
Databricks

Job description

Data Lake Optimierung SQL Azure Praktikumserfahrung Internet der Dinge Continuous Integration IoT Zuverlässigkeit Verantwortungsvolle Arbeitsweise, * Analyse und Verarbeitung großer Mengen industrieller Telemetriedaten mit PySpark und Databricks

  • Entwicklung und Optimierung skalierbarer Datenpipelines für produktive Umgebungen
  • Sicherstellung von Datenqualität, Performance und Zuverlässigkeit über den gesamten Datenlebenszyklus
  • Eigenverantwortliches Arbeiten in einem modernen, remote-first Umfeld
  • Enge Zusammenarbeit mit einem kleinen, hochspezialisierten Team aus erfahrenen Kolleg*innen

Requirements

  • Fundierte Praxiserfahrung mit PySpark und Databricks in produktiven Umgebungen

  • Erfahrung im Aufbau und Betrieb skalierbarer Datenpipelines für große Datenvolumina

  • Gutes Verständnis für Telemetrie- und Zeitreihendaten sowie deren spezifische Herausforderungen

  • Die Fähigkeit, komplexe Datenprobleme in pragmatische, nachhaltige Lösungen zu überführen

  • Strukturierte, eigenverantwortliche Arbeitsweise Von Vorteil:

  • Erfahrung mit industriellen Datenquellen und IoT-Datenlandschaften

  • Kenntnisse in Azure (Data Lake, Event Hubs, Databricks auf Azure)

  • Vertrautheit mit Delta Lake, Spark Structured Streaming oder vergleichbaren Technologien

  • Erfahrung mit CI/CD-Prozessen für Datenpipelines Team Unser Team ist klein, verteilt (Berlin, Düsseldorf, Stuttgart, Konstanz) und arbeitet mit echter Gestaltungsfreiheit.

Benefits & conditions

Wir sind ein hochspezialisiertes Team mit flachen Hierarchien und kurzen Entscheidungswegen.

Apply for this position