Senior DataOps Engineer
Role details
Job location
Tech stack
Job description
Als zuverlässiger Partner machen wir die Beschaffung von technischem Bedarf für unsere Kund*innen so einfach und effizient wie möglich. Dafür arbeiten wir täglich mit Leidenschaft und Einfallsreichtum. Wir bieten ein hochwertiges Sortiment mit Millionen von technischen Produkten, kundenzentrierte Lösungen und Services sowie fachkompetente Betreuung von Mensch zu Mensch. Diese Mission treiben wir mit Leidenschaft voran, sehen Veränderung als Chance und liefern unseren Kunden alles, was ihre Projekte zum Erfolg führt. Als Familienunternehmen legen wir größten Wert auf nachhaltiges Wirtschaften und langfristige Beziehungen. Wir stehen für Qualität und Zuverlässigkeit., * Datenzuverlässigkeit garantieren: Du verantwortest die DataOps-Implementierung und CI/CD, um sicherzustellen, dass alle Produktions-Datenpipelines zuverlässig, nachverfolgbar und skalierbar für KI-Initiativen sind.
- Daten-Geschwindigkeit optimieren: Du konzipierst hochperformante Airflow- und Plattformlösungen, die die Datenbereitstellung und die Time-to-Value für Automatisierungsprojekte drastisch beschleunigen.
- Datenvertrauen aufbauen: Du treibst Qualitäts- und Governance-Standards mithilfe von dbt voran und wandelst Rohdaten in vertrauenswürdige, dokumentierte Assets um, die für robuste ML-Anwendungen entscheidend sind.
- Orchestrierung & Zuverlässigkeit: Du konzipierst, implementierst und überwachst Produktions-ETL/ELT-Pipelines mithilfe von Apache Airflow (DAGs, benutzerdefinierte Operatoren). Du implementierst fortgeschrittenes Monitoring, Logging und Fehlerbehebung, um die Stabilität der Pipelines und die Aktualität der Daten für die KI-Plattform zu garantieren.
- DataOps & CI/CD: Du wendest DataOps- und DevOps-Prinzipien (CI/CD, Versionskontrolle, automatisierte Tests) über den gesamten Datenentwicklungszyklus hinweg an. Du setzt rigorose Code-Qualitätsstandards für die gesamte Transformationslogik (SQL/Python) durch.
- Infrastruktur & Performance: Du verwaltest und skalierst zentrale Datenkomponenten (Data Warehouse, Airflow) mithilfe von Infrastructure as Code (IaC). Du optimierst proaktiv die Performance der KI- und Datenplattform (Query Tuning, Partitionierung), um KI-Inferenzen mit geringer Latenz zu unterstützen und behebst kritische Produktionsprobleme.
- Dokumentation: Du pflegst klare und umfassende Dokumentationen für Datenpipelines und die Architektur.
Requirements
-
Du bringst über 3 Jahre Erfahrung in einer DataOps- oder einer eng verwandten Data-Engineer-Rolle mit.
-
Du verfügst über Expertise in Apache Airflow (komplexe DAGs, benutzerdefinierte Operatoren, Produktionsmanagement).
-
Du hast tiefgehende praktische Erfahrung mit dbt (Modellentwicklung, Datenqualitäts-Tests, Paketmanagement).
-
Du besitzt Expertenkenntnisse in SQL und tiefgreifende Erfahrung mit Daten-Services der öffentlichen Cloud (GCP bevorzugt), wie z. B. BigQuery, Snowflake oder Redshift.
-
Du hast starke Python-Kenntnisse für die ETL/Airflow-Entwicklung.
-
Du hast Erfahrung mit Infrastructure-as-Code (IaC)-Tools wie Terraform. Software-Prinzipien: Du verfügst über praktisches Wissen über Software-Engineering-Prinzipien (Testing, CI/CD).
-
Du zeichnest Dich durch ausgezeichnete Kooperations- und Analysefähigkeiten aus.
-
Deutschkenntnisse sind ein Plus, fließendes Englisch ist notwendig.