Senior Data Engineer

Notre plateforme repose aujourd’hui principalement sur GCP, BigQuery, SQLMesh et Python. Elle a été initialement construite avec l’aide d’un prestataire externe et doit désormais être pleinement maîtrisée et exploitée en interne.

Le rôle est donc particulièrement important : il ne s’agit pas de repartir d’une page blanche, mais de comprendre l’existant, d’en reprendre progressivement la maîtrise, de fiabiliser ce qui doit l’être et de faire évoluer la plateforme de manière structurée.

L’objectif est simple : garantir que les données dont nous avons besoin soient disponibles, fiables, compréhensibles, correctement modélisées et observables lorsqu’un problème survient.

Tu travailleras en forte proximité avec les équipes data, backend et infrastructure, notamment sur les sujets d’ingestion, de modélisation, de qualité des données, d’observabilité et de contrats avec les systèmes sources., Tu seras amené·e à :

• Prendre l’ownership technique de notre plateforme data et de notre data warehouse.
• Comprendre et faire évoluer l’architecture existante ainsi que les différents flux de données.
• Maintenir et faire évoluer les pipelines d’ingestion et intégrer de nouvelles sources.
• Garantir la fraîcheur, la disponibilité et la fiabilité des données.
• Concevoir et maintenir les différents niveaux de modélisation : données ingérées, staging, modèles métier, dimensions, faits et marts.
• Faire évoluer les transformations et modèles avec SQLMesh.
• Mettre en place et renforcer les tests et contrôles de qualité : unicité, nullabilité, cohérence, complétude, fraîcheur, variations anormales…
• Mettre en place une observabilité efficace pour détecter rapidement les problèmes de données.
• Diagnostiquer les incidents, identifier leur origine et remettre les traitements en fonctionnement.
• Travailler avec les équipes backend pour définir des contrats de données suffisamment stables et éviter que les consommateurs data dépendent directement des détails internes des applications.
• Participer à la maîtrise et à l’optimisation des coûts de la plateforme data.
• Collaborer avec notre Data Analyst sur les besoins analytiques, les usages et les modèles nécessaires aux différents consommateurs.
• Participer aux choix d’architecture et faire évoluer progressivement les composants qui présentent les risques ou limites les plus importants.

Stack

La plateforme data repose principalement sur :

• GCP
• BigQuery
• SQLMesh
• Python
• Git
• CI/CD
• Infrastructure as Code (Pulumi)
• Cloud Run / Cloud Batch

• Tu as une expérience solide en Data Engineering, idéalement sur une plateforme exploitée en production.
• Tu maîtrises très bien SQL.
• Tu maîtrises au moins un langage de programmation généraliste.
• Tu as une expérience significative en modélisation de données.
• Tu as déjà travaillé sur des pipelines ETL/ELT.
• Tu as déjà utilisé un outil de transformation et de gestion de modèles data comme SQLMesh ou dbt.
• Tu as une expérience de BigQuery ou d’un data warehouse cloud équivalent.
• Tu sais mettre en place des contrôles de qualité et raisonner sur la fraîcheur, la complétude et la fiabilité des données.
• Tu as déjà travaillé sur des systèmes data en production et sais investiguer un incident lorsqu’une donnée manque ou devient incorrecte.
• Tu connais les pratiques de développement collaboratif avec Git.
• Tu sais comprendre un système existant avant de vouloir le remplacer.
• Tu es capable d’être autonome sur ton périmètre sans travailler en silo.
• Tu communiques simplement avec des profils techniques comme non techniques.
• Tu sais challenger une décision lorsque c’est nécessaire, tout en sachant accepter un arbitrage collectif.

On s’épanouira ensemble si :

• Tu aimes comprendre le “pourquoi” avant de toucher au “comment”.
• Tu sais distinguer une dette technique acceptable d’un vrai risque pour la plateforme.
• Tu préfères améliorer progressivement un système existant plutôt que lancer une réécriture complète sans recul.
• Tu attaches de l’importance à la qualité, à la lisibilité, aux tests et à l’observabilité.
• Tu aimes investiguer un problème, en identifier la source, puis mettre en place une correction propre et durable.
• Tu apprécies les sujets où il faut faire le lien entre technique et usages métier.
• Tu veux prendre la responsabilité d’un périmètre technique important et le faire progresser dans le temps.
• Tu privilégies le collectif à l’individuel et sais demander de l’aide lorsque nécessaire.

Ce poste est basé à Lille, avec une possibilité de télétravail occasionnel.

Dans le cadre de notre développement, nous cherchons à renforcer notre équipe avec un·e Senior Data Engineer capable de prendre l’ownership technique de notre plateforme data.