Tech Lead Databricks

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d?ingestion, de traitement et d?industrialisation des données sur la data plateforme. Sans être responsable de l?architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers.

Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique, Vous portez une attention particulière à la qualité des données, à la testabilité et à l?observabilité des pipelines en production

Vous pratiquez régulièrement les revues de code, le mentoring et l?accompagnement technique des Data Engineers

Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d?industrialiser et standardiser les développements

Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts, et savez les intégrer dans vos choix techniques, Expertise avancée de la plateforme Databricks et de ses usages en contexte Data Engineering

Maîtrise approfondie d?Apache Spark via PySpark et Spark SQL, incluant la compréhension et l?optimisation des mécanismes internes (partitionnement, shuffles, caching, plans d?exécution)

Maîtrise approfondie de Delta Lake et de ses mécanismes clés (Delta log, ACID, schema evolution, time travel...)

Structuration et standardisation des projets Databricks

Définition de l?environnement de travail des Data Engineers et des outils associés (outillage, conventions, frameworks internes)

Maîtrise du framework Spark Declarative Pipelines

Mise en place de stratégies de tests automatisés pour les pipelines Databricks incluant : (pytest, DQX, SDP Expectations)

Optimisation des performances Spark et de la maîtrise des coûts d?exécution sur la plateforme

Définition et maintien de standards de développement et de gestion des environnements sur Databricks

Bonne connaissance des mécanismes de sécurité Databricks, incluant la gestion des secrets, des permissions et de la gouvernance via Unity Catalog

Responsabilité de la stratégie de déploiement CI/CD de la plateforme , s?appuyant sur Databricks Asset Bundles et/ou Terraform

Support technique sur la plateforme

Vous disposez d?un leadership technique, reconnu et légitime auprès des équipes

Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d?objectifs communs

Vous faites preuve d?une excellente communication, associée à une forte capacité pédagogique

Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d?amélioration continue

Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables

Vous êtes autonome, proactif et doté d?un fort sens des responsabilités

Vous favorisez le partage de connaissances et la montée en compétence collective

Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers)

Vous maîtrisez Python et SQL à un niveau avancé, avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité)

Vous êtes capable de définir, documenter et faire appliquer des standards de développement, incluant la structuration des projets, les conventions de code et les stratégies de tests

Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data, Certifications recommandées : Databricks Certified Data Engineer Professional (ou équivalent)