Data Architect - Senior Data Engineer - Databricks Expert H/F

Stellantis
Poissy, France
about 2 months ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
7 years minimum
Working hours
Regular working hours
Job source

Tech stack

Amazon Web Services Data Architecture Metadata Role-Based Access Control Enterprise Data Management Apache Spark Data Lakes Collibra Apache Kafka Data Management Terraform Databricks

Job description

Vous serez le moteur technique de notre équipe Data Management - en concevant et en construisant l’infrastructure qui rend les règles de gouvernance opérationnelles à grande échelle sur Databricks. De l’automatisation de la rétention des données aux pipelines DSAR, en passant par l’application du contrôle d’accès et l’architecture d’analytique en libre-service, vous serez responsable de l’ensemble de la stack technique garantissant des données de véhicules connectés conformes, accessibles et maîtrisées., Des mécanismes automatisés d’application de la rétention et du cycle de vie des données sur Databricks - jobs de suppression sur tables Delta, pipelines d’archivage et processus auditables Une architecture de contrôle d’accès RBAC/ABAC via Unity Catalog et Immuta - provisioning automatisé des droits, gestion des habilitations et cycle de vie des accès Des pipelines d’automatisation DSAR - extraction, filtrage, anonymisation et portabilité des données personnelles à grande échelle L’intégration des métadonnées entre Databricks (Unity Catalog) et le catalogue de données d’entreprise (Collibra ou équivalent) Les bonnes pratiques et standards de data engineering à l’échelle de l’écosystème data AIDA

e n’est pas un poste de maintenance - c’est un poste de construction. Vous concevrez et piloterez les fondations techniques d’une fonction de gouvernance opérant à l’échelle de l’un des plus grands groupes automobiles mondiaux. Un rôle avec un fort niveau de responsabilité, de complexité et d’impact. Et vous évoluerez au sein d’une petite équipe de profils seniors, où votre contribution sera visible dès le premier jour.

Requirements

7 à 10 ans d’expérience en data engineering ou en architecture dataExpertise approfondie et opérationnelle de Databricks - Unity Catalog, Delta Lake, Spark, Databricks Workflows et gestion des jobsBonne maîtrise d’AWS et de TerraformExpérience en contrôle d’accès aux données - RBAC/ABAC, Immuta ou outils équivalents de gestion des politiquesExpérience avérée dans la mise en place de mécanismes de rétention, suppression ou gestion du cycle de vie des données à grande échelleSolides connaissances des architectures de pipelines batch et streaming - Kafka, Delta Live Tables ou équivalentConnaissance des exigences techniques de conformité au RGPD et au Data ActCapacité à concevoir des systèmes complexes et à les expliquer clairement à des interlocuteurs non techniques, 7 à 10 ans d’expérience en data engineering ou en architecture data Expertise approfondie et opérationnelle de Databricks - Unity Catalog, Delta Lake, Spark, Databricks Workflows et gestion des jobs Bonne maîtrise d’AWS et de Terraform Expérience en contrôle d’accès aux données - RBAC/ABAC, Immuta ou outils équivalents de gestion des politiques Expérience avérée dans la mise en place de mécanismes de rétention, suppression ou gestion du cycle de vie des données à grande échelle Solides connaissances des architectures de pipelines batch et streaming - Kafka, Delta Live Tables ou équivalent Connaissance des exigences techniques de conformité au RGPD et au Data Act Capacité à concevoir des systèmes complexes et à les expliquer clairement à des interlocuteurs non techniques, Unity AWS Batching KAFKA

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on hellowork.com

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

1:34 min

Essential commands for running and testing Terraform configurations

Hennie Francis · LIVE

1:47 min

Comparing Egeria to alternative open metadata solutions

Ferd Scheepers · World Congress 2022

2:57 min

Core technical practices for robust data engineering

Sandhya Menon Sandhya Menon · World Congress 2026 Europe

2:32 min

Overview of Terraform and Terraform Cloud features

Devlin Duldulao · LIVE

2:08 min

Creating standard APIs via the Egeria open metadata project

Ferd Scheepers · World Congress 2022

3:09 min

Balancing data science skillings alongside systems engineering rigor

Nico Schmidt · LIVE

Videos

See all

Related articles

See all