Data Architect - Senior Data Engineer - Databricks Expert H/F
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Tech stack
Job description
Vous serez le moteur technique de notre équipe Data Management - en concevant et en construisant l’infrastructure qui rend les règles de gouvernance opérationnelles à grande échelle sur Databricks. De l’automatisation de la rétention des données aux pipelines DSAR, en passant par l’application du contrôle d’accès et l’architecture d’analytique en libre-service, vous serez responsable de l’ensemble de la stack technique garantissant des données de véhicules connectés conformes, accessibles et maîtrisées., Des mécanismes automatisés d’application de la rétention et du cycle de vie des données sur Databricks - jobs de suppression sur tables Delta, pipelines d’archivage et processus auditables Une architecture de contrôle d’accès RBAC/ABAC via Unity Catalog et Immuta - provisioning automatisé des droits, gestion des habilitations et cycle de vie des accès Des pipelines d’automatisation DSAR - extraction, filtrage, anonymisation et portabilité des données personnelles à grande échelle L’intégration des métadonnées entre Databricks (Unity Catalog) et le catalogue de données d’entreprise (Collibra ou équivalent) Les bonnes pratiques et standards de data engineering à l’échelle de l’écosystème data AIDA
e n’est pas un poste de maintenance - c’est un poste de construction. Vous concevrez et piloterez les fondations techniques d’une fonction de gouvernance opérant à l’échelle de l’un des plus grands groupes automobiles mondiaux. Un rôle avec un fort niveau de responsabilité, de complexité et d’impact. Et vous évoluerez au sein d’une petite équipe de profils seniors, où votre contribution sera visible dès le premier jour.
Requirements
7 à 10 ans d’expérience en data engineering ou en architecture dataExpertise approfondie et opérationnelle de Databricks - Unity Catalog, Delta Lake, Spark, Databricks Workflows et gestion des jobsBonne maîtrise d’AWS et de TerraformExpérience en contrôle d’accès aux données - RBAC/ABAC, Immuta ou outils équivalents de gestion des politiquesExpérience avérée dans la mise en place de mécanismes de rétention, suppression ou gestion du cycle de vie des données à grande échelleSolides connaissances des architectures de pipelines batch et streaming - Kafka, Delta Live Tables ou équivalentConnaissance des exigences techniques de conformité au RGPD et au Data ActCapacité à concevoir des systèmes complexes et à les expliquer clairement à des interlocuteurs non techniques, 7 à 10 ans d’expérience en data engineering ou en architecture data Expertise approfondie et opérationnelle de Databricks - Unity Catalog, Delta Lake, Spark, Databricks Workflows et gestion des jobs Bonne maîtrise d’AWS et de Terraform Expérience en contrôle d’accès aux données - RBAC/ABAC, Immuta ou outils équivalents de gestion des politiques Expérience avérée dans la mise en place de mécanismes de rétention, suppression ou gestion du cycle de vie des données à grande échelle Solides connaissances des architectures de pipelines batch et streaming - Kafka, Delta Live Tables ou équivalent Connaissance des exigences techniques de conformité au RGPD et au Data Act Capacité à concevoir des systèmes complexes et à les expliquer clairement à des interlocuteurs non techniques, Unity AWS Batching KAFKA
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Apply on hellowork.comGood distractions
Talks and stories from around this role — technically off-topic, practically not.
Moments
Explore playlistsVideos
See allRelated articles
See all
Top Big Data Technologies That You Need to Know
Highest Paying Tech Companies for Developers
Making Data Warehouses Fast: A Developer’s Story
Best Companies to Work For in Paris: Top 25 Companies in 2023Â