Senior Data Engineer
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Tech stack
+14 more
Job description
ď¸ Hybride Daten-Plattform & Architektur: Du verantwortest die Konzeption und Implementierung einer hybriden Datenplattform, die die Flexibilität von Lakehouse-Strukturen mit der Performance und Struktur eines klassischen Data Warehousing (Serving Layer) vereint.
- ď¸ Data-Ingestion & Pipelines: Du baust und betreibst zuverlässige Pipelines fĂźr umfangreiche Datenmengen (z. B. Sensor- oder Erdbeobachtungsdaten) in Batch- und Streaming-Szenarien.
ď¸ Plattform-Evolution: Du treibst unsere Datenplattform voran, indem Du neue Trends im Bereich Data & AI (z. B. Vector-Datenbanken & RAG-Infrastruktur) evaluierst und Tools fĂźr effizientes Datenmanagement sowie CI/CD-Prozesse entwickelst.
ď¸ Governance, Observability & FinOps: Du etablierst strenge Data-Governance-Standards, implementierst Data Lineage sowie Data Contracts zur Schnittstellensicherung, wendest FinOps-Prinzipien zur Kostenoptimierung an und stellst die Datenqualität sicher.
Performance-Optimierung: Du optimierst die Verarbeitungsleistung durch effiziente Partitionierungsstrategien und gestaltest Datenlayouts, die Compute-Workloads nah an der Speicherebene erlauben.
Enablement & Beratung: Du fungierst als Sparringspartner fĂźr Data Scientists und Ingenieure, vermittelst Best Practices und stellst Blueprint-Architekturen fĂźr die gesamte Organisation bereit.
Requirements
- Distributed Computing: Tiefe Erfahrung mit dem Spark-Ăkosystem (z. B. Databricks, EMR oder vergleichbare Frameworks) sowie fundiertes Wissen in der Konzeption moderner Data-Lake- oder Lakehouse-Architekturen.
- Pipeline-Engineering: Fundiertes Wissen im Aufbau komplexer Ingestion-Workflows und in der Verwaltung von Daten-Transformations-Pipelines.
- Programmierung: Exzellente Kenntnisse in Python (oder Go) sowie sicherem Umgang mit SQL- und NoSQL-Datenbanken.
- Cloud & Infrastruktur: Routine in Cloud-Plattformen (Azure oder AWS) sowie Infrastructure as Code (Terraform).
- Datenmodellierung & DWH: Fundierte Erfahrung in der dimensionalen Modellierung (Star/Snowflake Schema) sowie im Design von hochperformanten Serving Layern fĂźr BI- und Analytics-Anwendungen.
Sehr gute Kenntnisse
- Data Management: Praktische Erfahrung mit Datenversionierung, Lineage-Tracking und Schema-Validierung.
- DevOps fĂźr Data: Sicherer Umgang mit Docker, Kubernetes und CI/CD-Tools (z. B. GitHub Actions).
- Security & Networking: Verständnis von Authentifizierung, Verschlßsselung und sicheren Datenverarbeitungspraktiken.
- Agile Methodiken und Erfahrung in der Zusammenarbeit mit funktionsĂźbergreifenden Analytics-Teams.
- Data Contracts & KI-Daten: Erfahrung in der Gestaltung stabiler Datenschnittstellen sowie Grundverständnis fßr den Betrieb von Vektordatenbanken und RAG-Pipelines., * Analytische Exzellenz: Du hast eine strukturierte Herangehensweise an komplexe Herausforderungen wie Partitionierung und Tiling-Strategien.
- Kommunikationsstärke: Du kannst Blueprint-Architekturen klar vermitteln und Kollegen fachlich anleiten.
- FlieĂende Deutsch- und Englischkenntnisse sowie ein abgeschlossenes Studium (M.Sc.) in Informatik oder einem verwandten Bereich.
About the company
Arbeiten bei der BCM Solutions bedeutet beim besten Arbeitgeber mitzugestalten. Mit unseren Kolleginnen und Kollegen gestalten wir seit 2010 aktiv die BCM Solutions GmbH. Jährlich werden wir fĂźr unsere phänomenale Arbeit durch unsere BCM Community als bester Arbeitgeber ausgezeichnet. Als MarktfĂźhrer fĂźr PREEvision Ăźberzeugen wir mit der Erfahrung unserer Mitarbeiter und Mitarbeiterinnen, die sie durch täglichen Einsatz bei unseren exklusiven Kunden unter Beweis stellen. Die BCM Solutions GmbH steht auĂerdem fĂźr hochwertige SoftwarelĂśsungen und Dienstleistungen im Bereich der Softwareentwicklung. Wir verbinden persĂśnliche und fachliche Weiterentwicklung mit SpaĂ bei der Arbeit und bringen dadurch Kundenprojekte stets zum Erfolg!, * Du kannst in einem rollenbasierten Unternehmen arbeiten #NoHierarchieGehabe
- Du findest bei uns eine offene Unternehmenskommunikation und kurze Entscheidungswege wieder.
- FĂźr Deinen optimalen Start bei der BCM steht ein umfangreiches und individuelles Onboarding-Programm in den StartlĂśchern.
- Kollegen auf AugenhÜhe und unsere Personalentwicklung unterstßtzen Dich dabei, sowohl fachlich als auch persÜnlich aufs nächste Level zu kommen.
- Unvergessliche Mitarbeiterevents: monatliche Teamaktivitäten und ein BCM-Urlaub im Sommer.
- BCM stärkt Deine Balance, egal ob Work oder Life, wir stehen immer hinter Dir.
- Casual oder Anzug? BĂźro oder Homeoffice? FrĂźhaufsteher oder Nachteule? Du entscheidest, bei uns hast Du die Freiheit, so zu arbeiten, wie es am besten zu Dir passt.
- Du läutest mit unserer BCM Community das Wochenende mit einem (hopfenreichen) Erfrischungsgetränk ein.
- Frisches Obst, Tee, Mineralwasser, Kaffee usw. in unserem Bßro selbstverständlich.
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Apply on indeed.comGood distractions
Talks and stories from around this role â technically off-topic, practically not.
Moments
Explore playlistsVideos
See allRelated articles
See all
Data Analyst Salary Germany
The Most Popular IT Jobs on the Market
The Biggest German Tech Companies
System change: restart as developer?