Data Platform Engineer - Remote

Haufe-Lexware GmbH & Co. KG
Berlin, Germany
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
English, German

Job location

Berlin, Germany

Tech stack

Airflow
Amazon Web Services (AWS)
Azure
Big Data
Cloud Computing
Customer Data Management
Information Engineering
Data Infrastructure
ETL
Data Stores
Hadoop
Python
SQL Databases
Data Streaming
Large Language Models
Spark
Cloudformation
Kafka
Terraform

Job description

  • Du begleitest Initiativen zur Vernetzung bislang isolierter Datenbereiche und realisierst dazu den Auf- und Ausbau einer skalierbaren Dateninfrastruktur
  • Du entwickelst Konzepte zur Echtzeit-Speicherung und Verarbeitung von Kundendaten in der Dateninfrastruktur
  • Du baust ETL-Strecken rund um die Sammlung, Speicherung, Pflege, Aufbereitung, Anreicherung und Weitergabe von Daten auf
  • Du befähigst Teams, neue Automatisierungslösungen zu erforschen, z.B. durch Benchmarks mit aktuellen LLM-Modellen

Requirements

  • Du kennst dich in Cloud Umgebungen (AWS, Google, Azure) und mit gängigen Data Engineering Tools (z.B. für die Orchestrierung von Daten Pipelines via ETL) aus
  • Dein Verständnis von SQL, Python und Infrastructure-as-Code Tools (z.B. Terraform, CloudFormation) helfen dir neue Funktionen zu implementieren, bestehende zu pflegen und die internen Kunden in die Lage zu versetzen, Hindernisse auf dem Weg zu Erkenntnissen zu überwinden
  • Praktische Erfahrung mit Big Data Frameworks (z.B. Hadoop, Spark, Airflow) sind ein großes Plus. Idealerweise kennst du dich auch mit Event-basierter Datenspeicherung aus und hast dieses Konzept bereits angewendet (z.B. Apache Kafka, AWS Kinesis o.ä.)
  • Idealerweise hast du Erfahrungen in der Zusammenarbeit an Proof-of-Concept Lösungen und Benchmarks
  • Du sprichst fließend Englisch. Die Arbeitssprache im Team ist Englisch. Zusätzlich sind Deutschkenntnisse sehr hilfreich, um mit den umliegenden Teams zu kommunizieren

About the company

* Molly richtet ihren Blick auf unsere Systeme, damit sie stabil, effizient und reibungslos laufen. Sie arbeitet von Berlin aus und verbringt ihre Freizeit damit, mit einem sehr neugierigen Siebenjährigen mitzuhalten * Jiri hat ein Faible für Data Ops und kundenzentrierte Lösungen für Big Data Herausforderungen. An den Wochenenden verbringt er seine Zeit mit dem Sammeln von Pilzen und verfolgt die neuesten Trends im Bereich NLP * Andreas ist begeistert davon, die Automatisierungserfahrung unserer Kund:innen durch datengesteuerte Ansätze zu unterstützen. Außerhalb der Arbeitszeit verbringt er seine Zeit gerne auf dem Tennisplatz oder erkundet neue kulinarische Kreationen, um das Leben aufzupeppen * Friederike unterstützt das Team in seiner erfolgreichen Zusammenarbeit und Weiterentwicklung. Außerhalb der Arbeit joggt sie gerne und fährt gerne Fahrrad

Apply for this position