Data Engineer Databricks Senior H/F
Role details
Job location
Tech stack
Job description
projets ambitieux,
- suivi personnalisé,
- proximité managériale,
- perspectives d'évolution.
Que vous soyez en recherche d'un nouveau challenge technique, d'un environnement international ou d'un projet porteur de sens, nous serons ravis d'échanger avec vous.
Rejoignez nous et participez aux projets qui façonneront les industries de demain !, Vous rejoindrez une équipe d'experts intervenant sur des projets de conception et d'industrialisation de plateformes Lakehouse modernes, avec des enjeux autour de la valorisation de la donnée, de l'analytique avancée et de l'intelligence artificielle., Vous intégrez une équipe projet stable en CDI.
- Les projets sont réalisés au forfait, au sein des équipes internes.
- Vous ne serez pas envoyé.e en mission directement chez les clients.
- Vous évoluez avec les mêmes équipes, le même management et bénéficiez d'une véritable continuité technique sur les projets.
Vous participerez à la conception, au développement et à l'industrialisation de plateformes Data modernes dans un environnement Databricks, au service de projets analytiques, Data Science et IA.
Missions & périmètre d'intervention :
Le Data Engineer intervient sur l'ensemble du cycle de vie des plateformes de données, de leur conception jusqu'à leur industrialisation.
Conception & développement de plateformes Lakehouse :
- Concevoir et développer des plateformes Lakehouse basées sur Databricks.
- Structurer les données selon une architecture Medallion (Bronze / Silver / Gold) sur Delta Lake.
- Développer des traitements batch et streaming avec PySpark et Spark SQL.
- Concevoir et maintenir les pipelines d'ingestion de données à partir de sources hétérogènes.
- Mettre en oeuvre les transformations de données avec dbt.
- Participer aux choix d'architecture afin de garantir des plateformes performantes, évolutives et adaptées aux besoins métiers.
- Modéliser les données selon les approches Kimball, avec des connaissances Data Vault 2.0.
Industrialisation & optimisation :
- Orchestrer les traitements avec Databricks Workflows ou Airflow.
- Automatiser les déploiements via des pratiques CI/CD, Infrastructure as Code et DataOps.
- Optimiser les performances des traitements Spark ainsi que les coûts des plateformes cloud.
- Participer à l'industrialisation des workflows Data et aux pratiques MLOps.
Accompagnement des projets :
- Participer aux ateliers de cadrage avec les équipes métiers, Data et Data Science.
- Préparer les données pour des cas d'usage analytiques, Machine Learning et IA générative.
- Accompagner les équipes clientes sur les bonnes pratiques de développement et d'exploitation des plateformes Data.
- Collaborer avec des équipes pluridisciplinaires en méthodologie Agile.
Requirements
Minimum 5 années d'expérience post-diplôme en Data Engineering.Bac +5 en informatique, école d'ingénieur ou université.Expérience significative sur Databricks et Apache Spark dans des environnements de production.Maîtrise de Delta Lake et de l'architecture Lakehouse.Solide expérience en développement PySpark et Spark SQL.Bonne maîtrise de Python, SQL et des outils de transformation (dbt).Expérience avec les outils d'orchestration (Databricks Workflows, Airflow) et les architectures temps réel (Kafka).Connaissances des pratiques CI/CD, Git, Terraform, DataOps et des concepts MLOps (MLflow). Intéressé.e ? Postulez dès maintenant ! Tous nos postes sont ouverts aux personnes en situation de handicap., * Minimum 5 années d'expérience post-diplôme en Data Engineering.
- Bac +5 en informatique, école d'ingénieur ou université.
- Expérience significative sur Databricks et Apache Spark dans des environnements de production.
- Maîtrise de Delta Lake et de l'architecture Lakehouse.
- Solide expérience en développement PySpark et Spark SQL.
- Bonne maîtrise de Python, SQL et des outils de transformation (dbt).
- Expérience avec les outils d'orchestration (Databricks Workflows, Airflow) et les architectures temps réel (Kafka).
- Connaissances des pratiques CI/CD, Git, Terraform, DataOps et des concepts MLOps (MLflow)., Apache spark Machine learning Intelligence artificielle SQL Git Batching Python KAFKA
Benefits & conditions
Localisation : Clamart - 2 jours de télétravail par semaine
Contrat : CDI - Projets réalisés en interne (pas de régie)
Rémunération : 60K€ - 75K€ annuels bruts fixes selon expérience et compétences
Date de démarrage : ASAP ou selon disponibilité (préavis)