Data Engineer Databricks

Le consultant interviendra au sein d’une équipe agile composée de Data Engineers, Data Architects, Analytics Engineers et Product Owners., MissionsConcevoir, développer et maintenir des applications et traitements de données sur la plateforme Databricks.

Développer des pipelines de données robustes et industrialisés en Python, PySpark et SQL.

Participer à la modélisation et à l’optimisation des traitements de données.

Mettre en ?uvre les bonnes pratiques de développement, de tests et d’intégration continue (CI/CD).

Contribuer à l’administration fonctionnelle de la plateforme Databricks (catalogues, espaces de travail, gouvernance des données).

Participer à la mise en ?uvre des nouvelles fonctionnalités de la plateforme, notamment la création et la configuration de Databricks Genie Spaces afin de faciliter l’accès aux données par les équipes métiers.

Collaborer avec les équipes Data, Architecture et Métiers afin de garantir la qualité, la performance et la disponibilité des solutions développées.

Participer aux revues de code, aux ateliers techniques et aux réflexions autour de l’évolution de la plateforme Data.

IndispensablesDatabricks

Python

PySpark

Spark SQL

Delta Lake

Git

Méthodologies Agile (Scrum)

Appréciées

Unity Catalog

Databricks Workflows

CI/CD (Azure DevOps, GitHub Actions ou équivalent)

Azure Data Factory ou outil d’orchestration similaire

Databricks Genie Spaces

Connaissance des services IA proposés par Databricks (Mosaic AI, MLflow, Vector Search)

Dans le cadre de l’évolution de sa Data Factory, un acteur majeur du secteur du luxe renforce ses équipes afin d’accompagner le développement de sa plateforme Data basée sur Databricks. L’objectif est de concevoir, développer et industrialiser des solutions de traitement et de valorisation des données, tout en intégrant les nouvelles capacités offertes par l’écosystème Databricks.