DATA ENGINEER DATABRICKS SÉNIOR (H/F)

Conception et développement des pipelines de données : Concevoir et développer des pipelines de données efficaces et évolutifs sur la plateforme Databricks, en utilisant des langages de programmation Python (Pyspark) et SQL.

Optimisation des performances : Optimiser les pipelines de données déjà développés pour garantir des performances optimales, savoir mettre en place du partitionnement.

Proposer des améliorations sur la gestion des clusters, de l?ordonnancement des traitements.

Documentation et standardisation : Contribuer à la documentation et à la standardisation des architectures, des processus et des bonnes pratiques pour assurer la cohérence et la pérennité des solutions mises en place.

Formation et support : Fournir une aide et un support aux autres membres de l'équipe sur l'utilisation de Databricks et des pipelines de données développés.

5 à 10 ans d?expérience dans le domaine de la DATA

Excellente maîtrise de Databricks, PySpark et de SQL.

2 ans d'expérience sur Databricks

Expertise avancée dans la mise en place de pipelines de données ETL/ELT (Azure data factory).

Connaissance approfondie des concepts de CI/CD, databricks asset bundle et autres pratiques de développements se basant sur l?IA.

Familiarité avec les outils de gestion de versions comme Azure Devops ou Git.

Capacité à travailler dans un environnement Agile.

Nous recherchons pour un de nos clients un data engineer databricks