Lead Data Engineer

Le Lead Data Engineer est responsable de la cohérence technique, de l’industrialisation et de la robustesse de la Data Platform et des pipelines de données. Il agit comme référent technique senior, garant des standards d’ingénierie et de la qualité des implémentations des orientations définies par le Head of Data.

Son rôle est d’assurer que les solutions data sont fiables, performantes, scalables et maintenables, sans responsabilité managériale hiérarchique., 1. Standards d’ingénierie et cohérence technique

Définir avec le Head of Data les standards techniques applicables aux développements data :

• Patterns d’architecture des pipelines (ingestion, transformation, exposition)
• Standards de développement (Spark, SQL, Python, notebooks)
• Bonnes pratiques de modélisation physique et logique
• Règles de performance, optimisation et maîtrise des coûts
• Guidelines de qualité logicielle appliquées à la data
• Veiller à leur application cohérente dans les équipes Data Engineering.

1. Industrialisation des pipelines et data products

Garantir la robustesse des solutions data en production :

• Structuration des pipelines critiques et réutilisables
• Fiabilisation des traitements (idempotence, reprise, backfill)
• Optimisation des performances et des coûts de traitement
• Réduction de la complexité technique et de la dette existante
• Contribution à la standardisation des patterns de delivery

1. Qualité technique et excellence d’ingénierie

Promouvoir des pratiques d’ingénierie proches du software engineering :

• Mise en place de tests (unitaires, intégration, data quality)
• CI/CD des pipelines et notebooks
• Versioning des assets data (code, datasets, modèles)
• Observabilité technique (logs, monitoring, métriques)
• Revue de code et validation des designs techniques

1. Référent technique transverse

Intervenir comme point de référence sur les sujets complexes :

• Revue des architectures de pipelines critiques
• Validation des choix techniques structurants
• Support sur les problématiques de performance et de scalabilité
• Arbitrage technique sur des sujets d’implémentation complexes
• Diffusion des bonnes pratiques auprès des équipes Data Engineering

Sans responsabilité hiérarchique, mais avec un rôle de référence technique reconnue

1. Support à la Data Platform - en lien avec le Head of Data : * Contribution à l’évolution de la plateforme (ex : Microsoft Fabric) * Définition des standards d’usage des composants techniques * Alignement des implémentations avec l’architecture cible * Sécurisation de la cohérence entre domaines data * Contribution à la réduction des risques techniques (fragilité, coûts, duplication)

2. Support à la Data Platform - en autonomie : * Analyse des performances des pipelines * Optimisation des coûts de compute et de stockage * Identification et suppression des redondances techniques * Amélioration de la résilience des traitements * Contribution à la simplification de l’architecture existante

• Vous avez une expérience d’au moins 5 ans dans la gestion de projets Data avec un focus sur l’évolution de l’ingénierie de la donnée ;
• Maitrise des concepts de modélisation de données et de conception d’architectures Data ;
• Python & SQL : vous savez coder. Vous connaissez et savez lancer des procédures stockées ;
• Compétences en gestion de bases de données relationnelles ;
• Langue : La maîtrise de l’anglais est requise pour pouvoir échanger avec une partie de nos équipes qui n’est pas francophone

• La localisation du poste : 140 avenue des Champs-Elysées, 75008 Paris
• Le type de contrat : CDI
• Le poste est ouvert au télétravail, jusqu’à 2 jour par semaine + 10 jours flottants par an (soit 100 jours par an)
• Autres avantages :
• Abonnement GymLib personnalisable
• Jusqu’à 12 jours de repos par an
• Prime vacances, chèques-cadeaux
• Intéressement / participation
• Ticket-restaurant (10€ x 19 par mois) pris en charge à 60%