Senior Data Platform Engineer (2971636)

SOMI Solutions GmbH

Hamburg, Germany

20 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Expert

Working hours

Regular working hours

Languages

English, German

Job source

www.adzuna.de

Tech stack

Data Analysis Microsoft Azure Cloud Computing Cloud Computing Security Cyber Security Continuous Integration Data Infrastructure Extract Transform Load (ETL) Github Standard Sql Data Logging Data Ingestion

+7 more

Azure Data Factory Data Lakes Pyspark Gitlab-ci Information Technology Terraform Databricks

Job description

Aufbau und Weiterentwicklung einer modernen Azure-basierten Datenplattform
Design, Implementierung und Betrieb skalierbarer Cloud-Infrastrukturen
Entwicklung und Automatisierung von Infrastruktur mittels Terraform
Aufbau und Betrieb moderner CI/CD-Pipelines
Entwicklung und Optimierung von ETL- und ELT-Prozessen
Konzeption und Umsetzung einer modernen Lakehouse-Architektur
Entwicklung von Datenpipelines von der Datenaufnahme bis zur Bereitstellung für Analytics und Reporting
Überwachung, Optimierung und Absicherung der Plattform hinsichtlich Performance, Kosten und Sicherheit
Zusammenarbeit mit Fachbereichen, BI, IT-Security und Betriebsteams

Requirements

Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Data Science oder vergleichbare Qualifikation
Mehrjährige Erfahrung als Data Engineer oder Data Platform Engineer
Fundierte Kenntnisse in:
Microsoft Azure
Azure Data Factory
Databricks
PySpark
SQL
Erfahrung mit:
Lakehouse-Architekturen
Delta Lake
ETL/ELT-Prozessen
Sehr gute Kenntnisse in:
Terraform
Infrastructure as Code
Erfahrung mit:
CI/CD
Azure DevOps, GitHub Actions oder GitLab CI
Kenntnisse in Monitoring und Logging
Verständnis von Cloud Security und Compliance
Gute Deutsch- und Englischkenntnisse