Cloud Data & AI Engineer - Databricks

Instaffo GmbH
Heidelberg, Germany
1 day ago
Apply on jobs.meinestadt.de
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
English, German

Tech stack

Application Programming Interfaces (APIs) Artificial Intelligence Airflow Amazon Web Services Data Analysis Microsoft Azure Cloud Computing Cloud Database Databases Continuous Integration Information Engineering Data Governance
+18 more
Python (Programming Language) Machine Learning SQL Azure Search Technologies SQL Databases Data Streaming Cloud Platform System Large Language Models Apache Spark Git Data Lakes Pyspark Infrastructure Automation Frameworks Information Technology Apache Kafka Machine Learning Operations Terraform Databricks

Job description

Was du bei uns bewegst:

  • Du entwickelst moderne Data-&-AI-Lösungen auf Basis von Databricks
  • Du baust robuste Batch- und Streaming-Pipelines mit Python, SQL, Spark und PySpark
  • Du arbeitest an Lakehouse-Architekturen für Analytics-, ML- und GenAI-Anwendungsfälle mit
  • Du nutzt zentrale Databricks-Komponenten wie Delta Lake, Unity Catalog, Workflows, MLflow, Model Serving und Vector Search
  • Du unterstützt bei der Umsetzung und Weiterentwicklung von ML-, LLM- und GenAI-Use-Cases
  • Du arbeitest an Themen wie Serving, Retrieval, Evaluation, Monitoring und Governance für AI-Anwendungen
  • Du bindest unterschiedliche Quellsysteme wie APIs, Datenbanken, ERP- oder CRM-Systeme an
  • Du unterstützt bei der Umsetzung von Anforderungen rund um Data Quality, Security, Governance und Observability
  • Du arbeitest mit Git, CI/CD und Infrastructure as Code an produktiven Deployments
  • Du bringst dich in technische Konzepte, Best Practices und die Weiterentwicklung unserer Delivery-Standards ein

Requirements

Machine Learning CRM-System Cloud Informatik Datenmodellierung Englisch HR-Bereich Security SQL Azure ERP-System Lakehouse Praktikumserfahrung Berufserfahrung AWS Python GIT Wirtschaftsinformatik Unity Continuous Integration Engineering Deutsch Verantwortungsvolle Arbeitsweise Flexibilität Wertschätzung Engagement, * Erste bis mehrjährige praktische Erfahrung im Bereich Data Engineering, Machine Learning Engineering, AI Engineering oder in einer vergleichbaren Rolle

  • Gute Kenntnisse in Databricks
  • Gute Kenntnisse in Python, SQL, Spark und PySpark
  • Praxiserfahrung mit mindestens einer Cloud-Plattform, idealerweise Azure oder AWS
  • Erfahrung im Aufbau oder in der Weiterentwicklung moderner Datenplattformen in der Cloud
  • Erfahrung mit MLflow, Model Serving und Vector Search, idealerweise im Databricks-Umfeld
  • Grundlegendes bis gutes Verständnis moderner AI-/LLM-Konzepte, z. B. RAG, Retrieval, Evaluation, Serving und produktiver GenAI-Anwendungen
  • Gutes Verständnis für Lakehouse-Architekturen, Datenmodellierung und produktive Datenprozesse
  • Erste Erfahrung in den Bereichen Data Governance, Data Quality, Security und Monitoring
  • Sicherer Umgang mit Git und idealerweise erste Erfahrung mit CI/CD und Infrastructure as Code
  • Abgeschlossenes Studium in Wirtschaftsinformatik, Informatik, Data Science oder einem vergleichbaren Studiengang
  • Strukturierte, eigenverantwortliche und lösungsorientierte Arbeitsweise
  • Sehr gute Deutsch- und gute Englischkenntnisse Worüber wir uns zusätzlich freuen:

  • Erfahrung mit Terraform oder OpenTofu
  • Erfahrung mit Kafka, CDC oder eventgetriebenen Architekturen
  • Kenntnisse in Airflow, dbt oder vergleichbaren Tools
  • Erfahrung in der Anbindung unterschiedlicher Quellsysteme
  • Freude an der Zusammenarbeit mit Kunden und interdisziplinären Teams
  • Zertifizierungen im Umfeld von Databricks, Azure oder AWS

About the company

  • Engineering-Exzellenz: Du baust moderne Cloud Data & AI Plattformen. Bei uns zählen sauberes Engineering, Qualität und Pragmatismus - keine Quick-and-Dirty-Hacks. ️
  • Steile Lernkurve zur Core-Expertise: Wir fördern dich gezielt vom Spezialisten zum Trusted Advisor . Zertifizierungen (Databricks, Azure, AWS) gehen voll auf uns!

  • Dein Spielfeld: Vom agilen Startup bis zum DAX-Konzern. Du berätst auf Augenhöhe und setzt innovative Konzepte direkt in die Realität um. ️
  • Best-in-Class Setup: Arbeite mit State-of-the-Art Cloud-Technologien und Premium-Equipment.
  • Echte Teamkultur: Internationaler Austausch und flache Hierarchien im Herzen des Ruhrgebiets. Wir feiern Erfolge gemeinsam - gerne auch mal nach Feierabend oder unseren Teamevents. ️
  • Work-Life-Balance: Flexibilität ist bei uns Standard, kein Benefit. Home-Office und individuelle Modelle sorgen dafür, dass dein Job zu deinem Leben passt.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on jobs.meinestadt.de
Prepare application

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

3:03 min

Career evolution in data engineering and AI platforms

Maria Apazoglou · Coffee With Developers

4:32 min

Harnessing Spark with Python using PySpark and Py4J

Ayon Roy · LIVE

2:15 min

Empowering domain teams with an open data platform

Sandhya Menon Sandhya Menon · World Congress 2026 Europe

6:21 min

Investigating push inefficiencies with upstream Git experts

Jonathan Creamer · Coffee With Developers

3:37 min

Scaling machine learning pipelines from prototypes to petabytes

Julian Joseph · LIVE

3:05 min

Audience questions on AI agents and pipeline vectorization

Joy Joy · World Congress 2024

Videos

See all

Related articles

See all