Data Platform Engineer - Remote
Haufe-Lexware GmbH & Co. KG
Berlin, Germany
2 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
English, GermanJob location
Berlin, Germany
Tech stack
Airflow
Amazon Web Services (AWS)
Azure
Big Data
Cloud Computing
Customer Data Management
Information Engineering
Data Infrastructure
ETL
Data Stores
Hadoop
Python
SQL Databases
Data Streaming
Large Language Models
Spark
Cloudformation
Kafka
Terraform
Job description
- Du begleitest Initiativen zur Vernetzung bislang isolierter Datenbereiche und realisierst dazu den Auf- und Ausbau einer skalierbaren Dateninfrastruktur
- Du entwickelst Konzepte zur Echtzeit-Speicherung und Verarbeitung von Kundendaten in der Dateninfrastruktur
- Du baust ETL-Strecken rund um die Sammlung, Speicherung, Pflege, Aufbereitung, Anreicherung und Weitergabe von Daten auf
- Du befähigst Teams, neue Automatisierungslösungen zu erforschen, z.B. durch Benchmarks mit aktuellen LLM-Modellen
Requirements
- Du kennst dich in Cloud Umgebungen (AWS, Google, Azure) und mit gängigen Data Engineering Tools (z.B. für die Orchestrierung von Daten Pipelines via ETL) aus
- Dein Verständnis von SQL, Python und Infrastructure-as-Code Tools (z.B. Terraform, CloudFormation) helfen dir neue Funktionen zu implementieren, bestehende zu pflegen und die internen Kunden in die Lage zu versetzen, Hindernisse auf dem Weg zu Erkenntnissen zu überwinden
- Praktische Erfahrung mit Big Data Frameworks (z.B. Hadoop, Spark, Airflow) sind ein großes Plus. Idealerweise kennst du dich auch mit Event-basierter Datenspeicherung aus und hast dieses Konzept bereits angewendet (z.B. Apache Kafka, AWS Kinesis o.ä.)
- Idealerweise hast du Erfahrungen in der Zusammenarbeit an Proof-of-Concept Lösungen und Benchmarks
- Du sprichst fließend Englisch. Die Arbeitssprache im Team ist Englisch. Zusätzlich sind Deutschkenntnisse sehr hilfreich, um mit den umliegenden Teams zu kommunizieren
About the company
* Molly richtet ihren Blick auf unsere Systeme, damit sie stabil, effizient und reibungslos laufen. Sie arbeitet von Berlin aus und verbringt ihre Freizeit damit, mit einem sehr neugierigen Siebenjährigen mitzuhalten
* Jiri hat ein Faible für Data Ops und kundenzentrierte Lösungen für Big Data Herausforderungen. An den Wochenenden verbringt er seine Zeit mit dem Sammeln von Pilzen und verfolgt die neuesten Trends im Bereich NLP
* Andreas ist begeistert davon, die Automatisierungserfahrung unserer Kund:innen durch datengesteuerte Ansätze zu unterstützen. Außerhalb der Arbeitszeit verbringt er seine Zeit gerne auf dem Tennisplatz oder erkundet neue kulinarische Kreationen, um das Leben aufzupeppen
* Friederike unterstützt das Team in seiner erfolgreichen Zusammenarbeit und Weiterentwicklung. Außerhalb der Arbeit joggt sie gerne und fährt gerne Fahrrad