Data Engineer (H/F)
Role details
Job location
Tech stack
Job description
Le Datahub de CORUM L'Épargne est bien plus qu'une simple plateforme de données :
Il centralise, normalise et met à disposition la donnée pour l'ensemble du système d'information (SI).
Il produit des données métiers critiques, notamment pour le calcul des commissions, des rétrocessions inter-entités et la génération de documents clients et partenaires.
Il alimente de nombreux usages à fort impact business, touchant des domaines tels que la finance, la relation client, le marketing et les partenaires., * La conception et le développement des pipelines d'intégration de données sur Azure Data Factory et Apache Airflow.
- La gestion des flux de données, de l'ingestion jusqu'à la transformation et la mise à disposition au sein du SI.
- La transformation et l'agrégation des données, en utilisant principalement SQL, afin de préparer des jeux de données adaptés aux besoins métiers.
- L'automatisation des processus et la gestion de l'infrastructure via Terraform, garantissant un environnement fiable et évolutif.
- La participation aux choix d'architecture data et aux bonnes pratiques de modélisation, de performance et de fiabilité.
- La collaboration étroite avec les équipes métiers afin de comprendre leurs besoins et d'intégrer les solutions techniques appropriées dans le Datahub.
Stack technique :
- Azure comme cloud provider, pour l'hébergement, le stockage et la gestion des données.
- Azure Data Factory et Apache Airflow pour l'intégration et l'orchestration des pipelines de données.
- Kubernetes (AKS) pour le déploiement et l'orchestration des applications conteneurisées.
- SQL, utilisé de manière intensive pour les agrégations, transformations et traitements de données.
- Python pour l'automatisation des processus et la transformation des données.
- Terraform pour l'orchestration et la gestion de l'infrastructure cloud.
Requirements
Expérience confirmée de 3 à 5 ans en tant que Data Engineer, avec une expertise sur Azure, SQL et Python.
- Maîtrise des outils et des pratiques de transformation de données, en particulier avec SQL pour les agrégations et transformations complexes.
- Expérience avec Azure Data Factory pour la création et l'automatisation des pipelines de données.
- La maîtrise d'Apache Airflow et de Kubernetes est un plus.
- Une expérience dans l'utilisation de Terraform pour gérer l'infrastructure cloud est un plus.
Savoir-faire & Savoir-être
Les qualités suivantes sont particulièrement appréciées :
- Autonomie dans la prise en charge de sujets data complexes et sens de la qualité en production.
- Bonnes compétences en communication., Intégrer une aventure entrepreneuriale dans un cadre international Travailler sur des projets variés qui stimuleront votre créativité Flexibilité : bénéficiez du télétravail jusqu'à 2 jours par semaine Profiter d'opportunités de développement professionnel