Senior Data Engineer
Role details
Job location
Tech stack
Job description
Als zuverlässiger Partner machen wir die Beschaffung von technischem Bedarf für unsere Kund*innen so einfach und effizient wie möglich. Dafür arbeiten wir täglich mit Leidenschaft und Einfallsreichtum. Wir bieten ein hochwertiges Sortiment mit Millionen von technischen Produkten, kundenzentrierte Lösungen und Services sowie fachkompetente Betreuung von Mensch zu Mensch. Diese Mission treiben wir mit Leidenschaft voran, sehen Veränderung als Chance und liefern unseren Kunden alles, was ihre Projekte zum Erfolg führt. Als Familienunternehmen legen wir größten Wert auf nachhaltiges Wirtschaften und langfristige Beziehungen. Wir stehen für Qualität und Zuverlässigkeit. Im Team Conrad Big Data entwickeln und betreiben wir eine Plattform, die als Basis für Datenaustausch, Berichte, Analyse und KI dient. Schlagwörter wie performant, skalierbar, zentraler Datenspeicher, unternehmensweit einsetzbar, Daten für interne und externe Apps bereitstellen, Self-Service, usw. treiben uns Tag für Tag an. Agilität, iteratives Vorgehen, kontinuierliche Verbesserung und offenes Feedback stehen bei uns auf der Tagesordnung., * Software Engineering & AI Integration: Du nutzt Deine fundierten Java-Kenntnisse, um komplexe Data-Services zu entwickeln. Zudem treibst Du unsere Innovationskraft voran, indem Du AI Agents konzipierst und implementierst, die Prozesse automatisieren und unsere Datennutzung auf ein neues Level heben.
- Datenmodellierung & ETL-Pipelines: Du verantwortest das Design effizienter Datenmodelle und orchestrierst ETL-Prozesse (Extract, Transform, Load). Du kombinierst dabei die Flexibilität von Code (Java) mit der Effizienz von Tools wie Matillion ETL.
- Datenintegration & Qualität: Du integrierst heterogene Datenquellen in unser Data Warehouse und etablierst strenge Standards für Datenqualität und -konsistenz, damit Data Scientists und Business-Analysten stets auf verlässliche Daten zugreifen können.
- Performance & Optimierung: Du überwachst die Performance unserer Plattform (GCP/BigQuery) proaktiv, optimierst Abfragen und stellst sicher, dass unsere Systeme auch bei wachsenden Datenmengen und hoher Last effizient skalieren.
Requirements
- Mehrjährige Berufserfahrung als Big Data Engineer, idealerweise mit Fokus auf die Google Cloud Platform (GCP).
- Fundierte Erfahrung in der Backend-Entwicklung mit Java mit (Must-have). Kenntnisse in Python sind ein willkommenes Plus.
- Du verfügst über praxiserprobte Expertenkenntnisse in Event-Streaming-Architekturen, insbesondere im Umgang mit Confluent Kafka.
- Du hast bereits praktische Erfahrung in der Entwicklung und Implementierung von AI Agenten gesammelt und verstehst es, LLMs oder Agentic Workflows in Datenprodukte zu integrieren.
- Fundierte Erfahrung in der Gestaltung von Datenmodellen und ETL-Strecken, vorzugsweise unter Einsatz von Matillion ETL.
- Ausgeprägte analytische Fähigkeiten und der Antrieb, komplexe technologische Herausforderungen (von Streaming bis AI) eigenständig zu lösen.
- Du verfügst über sehr gute Englischkenntnisse in Wort und Schrift; Deutschkenntnisse sind von Vorteil.