Data Engineer / DataOps (H/F)

Contexte de la missionDans le cadre de la refonte complète d?un Data Lake stratégique, nous recherchons un profil Data Engineer orienté DataOps / MLOps afin d?accompagner la mise en place d?une plateforme data moderne, scalable et gouvernée.

Le projet repose sur une architecture Medallion (Bronze / Silver / Gold) et intègre plusieurs technologies modernes liées à l?ingestion, la transformation, l?orchestration et la gouvernance des données.

Le consultant interviendra à la fois sur les aspects Data Engineering, industrialisation, CI/CD, déploiement de pipelines et automatisation des workflows data.

Missions principalesAnalyse de l?existant & MigrationCartographier les sources de données, pipelines et flux existants

Participer à la définition de la stratégie de migration vers le nouveau Data Lake

Concevoir les plans de bascule tout en minimisant les impacts de production

Architecture & IngestionConcevoir les couches Bronze / Silver / Gold du Data Lake

Développer les pipelines d?ingestion batch et near real-time

Participer à l?optimisation des flux de données et des performances

Transformation & ModélisationDévelopper les modèles de transformation avec dbt

Mettre en place les tests automatisés et la documentation technique

Harmoniser les schémas et standards de données

DataOps / DevOpsMettre en ?uvre les pipelines CI/CD pour les traitements data

Industrialiser les déploiements et automatiser les workflows

Participer à la supervision, au monitoring et à l?observabilité des pipelines

Collaborer avec les équipes DevOps et Infrastructure

Orchestration & GouvernanceDéployer et maintenir les workflows avec Argo Workflows

Participer à la gouvernance des métadonnées et de la qualité des données

Contribuer à l?amélioration continue des pratiques DataOps

Compétences recherchéesCompétences techniques impérativesData Engineering

SQL avancé

dbt

CI/CD & automatisation

Déploiement de pipelines data

Bonne culture DevOps / DataOps

TechnologiesTrinoDB

Apache Iceberg

Parquet

Argo Workflows

Apache Superset

Metabase

OpenMetadata, Data Engineer / DataOps ? Projet stratégique Data LakeNous recherchons un Data Engineer orienté DataOps / MLOps pour intervenir sur la refonte complète d?un Data Lake moderne basé sur une architecture Medallion.

Vous participerez à la mise en place de pipelines data industrialisés, à l?automatisation des déploiements CI/CD ainsi qu?à l?orchestration des workflows dans un environnement technique innovant.

Stack : TrinoDB ? Apache Iceberg ? dbt ? Argo Workflows ? Parquet ? Superset ? OpenMetadata ? CI/CD ? DataOps

Compétences appréciéesKubernetes

Docker

GitLab CI/CD ou Jenkins

Python

Environnements Cloud & orchestration data, Profil recherchéData Engineer avec forte orientation DataOps / MLOps

Expérience sur des plateformes Data modernes

Bonne compréhension des problématiques d?industrialisation et d?automatisation

Sensibilité aux enjeux de performance, gouvernance et observabilité

Soft skillsAutonomie

Esprit analytique

Capacité à travailler en environnement transverse

Force de proposition

Bon relationnel technique, Solide expérience Data Engineering

Forte culture DevOps / DataOps

Expérience sur l?industrialisation et le déploiement de pipelines data

Bonne maîtrise des environnements modernes de Data Lake

Mission longue durée ? Démarrage ASAP.