Lead Data Engineer H/F
Role details
Job location
Tech stack
Job description
Contexte : La mission s'inscrit dans une dynamique d'industrialisation et de montée en maturité des flux data, avec un fort objectif de performance, de robustesse et de standardisation. Vos missions :
-
Architecture & Développement :
-
Concevoir, développer et industrialiser des pipelines Big Data à forte volumétrie.
-
Garantir la performance, la fiabilité et la scalabilité des flux d'ingestion.
-
Superviser l'implémentation et l'évolution des solutions techniques autour de Databricks, Spark, NiFi et Kafka.
-
Leadership & Standards :
-
Définir et faire respecter les standards de développement, bonnes pratiques et guidelines internes.
-
Accompagner les Data Engineers dans leur montée en compétence et leurs choix technologiques.
-
Participer activement à la communauté des Tech Leads et aux échanges avec les différentes Lines of Business.
-
Orchestration & Cloud :
-
Mettre en place et optimiser les orchestrations via Airflow.
-
Collaborer avec les équipes Cloud sur l'infrastructure Azure, notamment Databricks, Azure DevOps et les modules CI/CD.
-
Automatiser les processus d'ingestion et d'exploitation des données.
-
Projets & Coordination :
-
Piloter techniquement les projets data et garantir la cohérence des solutions déployées.
-
Collaborer avec les équipes Data Science, Data Management et Métiers.
-
Contribuer à la construction et l'évolution du Datalake d'entreprise.
Requirements
Vous êtes issu(e) d'une formation en communication et vous avez au moins 2 ans d'expérience dans une expérience :
-
+5 ans d'expérience en tant que Data Engineer ou Lead Data Engineer.
-
Expérience solide en conception, développement et industrialisation de pipelines Big Data. Expertises techniques indispensables :
-
Spark (expert)
-
Databricks
-
Apache NiFi
-
Kafka (ingestion & streaming)
-
Azure Cloud Langages :
-
Scala ou Java
-
Python
-
SQL ETL & Orchestration :
-
Apache Spark
-
Apache NiFi
-
Dataiku (atout apprécié)
-
Apache Airflow
-
Ansible CI/CD & DevOps :
-
Azure DevOps
-
Git Soft skills & leadership :
-
Capacité à porter une vision technique long terme.
-
Leadership et mentoring d'équipe.
-
Excellente communication.
-
Esprit analytique, rigueur et autonomie.