Data engineer H/F
Role details
Job location
Tech stack
Job description
Au sein de notre Digital Factory, le/la Data Engineer contribue à la conception, au développement et à la maintenance des pipelines d'ingestion de données de notre nouvelle plateforme basée sur Microsoft Fabric et des outils open source (Python, dbt, etc.).
Vous jouez un rôle central dans la modernisation de notre Modern Data Stack, en automatisant les flux de données et en garantissant leur qualité, leur fiabilité et leur passage à l'échelle, en collaboration étroite avec le Lead Data Platform., 1. Conception et développement des pipelines
- Concevoir et développer des pipelines d'ingestion en Python sur Microsoft Fabric.
- Automatiser les workflows de collecte, transformation et chargement des données.
- Optimiser les pipelines pour garantir performance, qualité et scalabilité.
- Gestion de l'infrastructure et des outils
- Déployer et administrer la plateforme sur Microsoft Fabric, avec Docker et des outils d'orchestration.
- Configurer et maintenir DBT en collaboration avec les Analytics Engineers.
- Mettre en place et améliorer les processus CI/CD, ainsi que les tests unitaires et d'intégration.
- Définir et maintenir le monitoring et l'alerting pour assurer la fiabilité opérationnelle
Requirements
- 1 à 3 ans d'expérience en tant que Data Engineer dans un environnement technique similaire.
- Expérience confirmée dans un environnement cloud (idéalement Azure ou Microsoft Fabric).
- Connaissance ou pratique de dbt fortement appréciée.
- Expérience prouvée dans la construction, l'orchestration et le monitoring de pipelines de données., Expertise technique
- Maitrise de Microsoft Fabric
- Connaissance avancée de Python et de son écosystème (poetry, pytest, pandas, polars…).
- Solide expérience avec Docker et l'orchestration de conteneurs dans Azure.
- Bonne connaissance de SQL et des modèles de données.
- Très bonne maîtrise de Git et des workflows de développement.
- Connaissance des pratiques DevOps et des outils CI/CD.
Soft skills
- Esprit collaboratif et capacité à travailler en équipe.
- Autonomie, proactivité et sens des responsabilités.
- Excellente communication avec des profils techniques et non techniques.
- Curiosité, veille technologique, envie d'apprendre.
Écosystème technique
Legacy :
- Azure BI (Data Factory, SQL Database - ODS/DWH)
- DWH : ~100 tables, 250 Go de données
Nouvel environnement :
- Microsoft Fabric, Python, Docker, dbt, SQL
- Git, CI/CD