Data Ingénieur / Ingénieur Big Data (H/F)
Role details
Job location
Tech stack
Job description
Dans le cadre d?un projet de transformation data, vous concevez, développez et maintenez des pipelines Databricks robustes et automatisés pour ingérer, qualifier et orchestrer des données hétérogènes. Vous garantissez la qualité, la conformité et la disponibilité des données pour le reporting métier et accompagnez les équipes utilisatrices (Data Analysts et Data Scientists)., Conception et développement de pipelines sur Databricks (PySpark, Delta Lake, Unity Catalog).
Orchestration des traitements avec Airflow ou Prefect.
Mise en place de CI/CD via GitLab et GitHub pour garantir qualité et traçabilité.
Intégration, structuration et qualification des données (référencement, suppression des doublons, validation).
Collaboration avec les équipes métier et BI pour assurer la pertinence et la scalabilité des flux.
Documentation technique et accompagnement des utilisateurs dans l?exploitation des pipelines.
Requirements
5 à 8 ans d?expérience sur Databricks / PySpark / Delta Lake.
Connaissance des APIs, ETL, Data Lake, plateformes Big Data et IoT.
Capacité à gérer des problèmes complexes dans un environnement changeant.
Compétences organisationnelles et capacité à documenter et accompagner les utilisateurs.
Anglais professionnel apprécié.