Senior Data Streaming Engineer - Data Platform

EVENTIM

Berlin, Germany

7 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Expert

Experience required

4 years minimum

Compensation

€57,000.0 - €76,500.0

Working hours

Shift work

Job source

www.xing.com

Tech stack

Airflow BigQuery Cloud Computing Cloud Storage Continuous Integration Information Engineering Data Governance Data Infrastructure Extract Transform Load (ETL) Data Security DevOps Data Flow Control

+9 more

Python (Programming Language) Queueing Systems Prometheus Data Streaming Datadog Google Cloud Spark Streaming Terraform Apache Beam

Job description

Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services, z. B. Dataflow, Pub/Sub, BigQuery und Cloud Storage.
Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
Implementierung von Strategien zur Zusammenführung von Daten, um mehrere Datenquellen in einheitliche und qualitativ hochwertige Datensätze zu integrieren.
Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der gesamten Pipelines.
Optimierung von Daten-Workflows im Hinblick auf Performance und Kosteneffizienz in Cloud-Umgebungen.
Anwendung von Best Practices in den Bereichen CI/CD, Infrastructure-as-Code und Monitoring für Datenpipelines.
Mitwirkung an Themen rund um Data Governance, Datensicherheit und Compliance.

Requirements

Mindestens vier Jahre Berufserfahrung im Data Engineering mit Schwerpunkt auf Echtzeit- bzw. Streaming-Pipelines.
Ausgeprägte Kenntnisse der Google Cloud Platform (GCP), insbesondere in Dataflow, Pub/Sub, BigQuery, Cloud Storage und Cloud Composer.
Sehr gute Kenntnisse in Apache Beam oder vergleichbaren Frameworks wie Spark Structured Streaming oder Flink.
Fundierte Programmierkenntnisse in Python.
Erfahrung in den Bereichen Datenmodellierung, Schema-Design und Zusammenführung von Daten aus unterschiedlichen Quellen.
Kenntnisse cloud-nativer DevOps-Praktiken, z. B. Terraform, Cloud Deployment Manager und CI/CD-Pipelines.
Ausgeprägte Problemlösungskompetenz sowie die Fähigkeit, in einem dynamischen Arbeitsumfeld erfolgreich zu arbeiten.
Praktische Erfahrung mit Tools zur Data Observability, z. B. Datadog, Prometheus oder OpenLineage.
Ein sehr gutes Verständnis ereignisgesteuerter Architekturen und Message Queues.
Erfahrung mit großen Datenmengen und geschäftskritischen Datenprozessen.