DATA ENGINEER ( H/F)
Role details
Job location
Tech stack
Job description
SNCF Connect & Tech, filiale privée de SNCF Voyageurs, est le leader du numérique et du e-commerce français dans le secteur des mobilités.
SNCF Connect & Tech a pour ambition d'innover pour rendre les mobilités durables accessibles à tous à travers 2 propositions de valeur :
- D'une part, SNCF Connect, l'agence de voyages et plateforme incontournable tout-en-un des mobilités durables, qui simplifie les trajets de millions de voyageurs, en rendant chaque étape du voyage plus fluide et responsable.
- D'autre part, Tesmo, la marque des activités d'éditeur de solutions de mobilité et de services numériques pour tous les acteurs de la mobilité, entreprises et collectivités. SNCF Connect & Tech s'appuie sur 25 ans d'expertise technologique au service de différentes typologies de clients (BtoC, BtoB, etc) ainsi que sur les expertises et savoir-faire de plus de 1 300 collaborateurs - les Digital Mobility Changers - basés à Lille, Nantes et Saint-Denis.
- Contexte
Le pôle Data Services est composé de :
- 15 Data Engineers
- 4 Data Ops
- 2 Staff Engineers Data
- 1 Enterprise Architect Data
- 2 Engineering Managers
- 2 Product Managers Data
- Product Owners, Data Analysts et Scrum Masters
Le/la Data Engineer Senior intègre l'une des 4 équipes Data et collabore étroitement avec les équipes Produit, Techniques et Métiers dans un environnement agile.
- Missions principales
Conception et développement de pipelines
- Concevoir, développer et optimiser des pipelines de données à grande échelle.
- Implémenter des flux batch, streaming et ingestion API.
- Structurer les transformations selon une modélisation Médaillon (Bronze / Silver / Gold).
- Développer et industrialiser les pipelines via DBT, Spark et Iceberg.
- Contribuer à l'évolution de l'architecture Lakehouse du groupe.
Industrialisation et mise en production
- Déployer, maintenir et optimiser les pipelines dans un environnement cloud (AWS ou équivalent).
- Orchestrer les workflows ETL/ELT (Airflow).
- Mettre en place des infrastructures as Code (Terraform).
- Exploiter des environnements conteneurisés (Docker, Kubernetes selon le contexte).
- Superviser les traitements, garantir la disponibilité des services, gérer les incidents et améliorer l'observabilité.
Qualité, conformité et documentation
- Définir et implémenter les règles de qualité des données (tests, contrôles automatisés, validation).
- Documenter les architectures, choix techniques, pipelines et règles métier.
- Garantir la conformité et la sécurité des flux, notamment au regard des exigences RGPD.
Leadership technique et accompagnement
- Accompagner les Data Engineers juniors et intermédiaires dans leur progression.
- Participer aux décisions techniques structurantes aux côtés des Staff Engineers et de l'Enterprise Architect Data.
- Challenger les pratiques existantes et promouvoir les standards d'ingénierie (qualité, performance, maîtrise des coûts, sécurité).
- Contribuer à la vision technique et à l'architecture globale de la plateforme Data Services.
Collaboration et relationnel
- Comprendre et challenger les besoins métiers afin de proposer des solutions data adaptées et pérennes.
- Vulgariser les sujets techniques auprès d'interlocuteurs variés (Produit, Métier, Technique).
- Travailler en étroite collaboration avec les Data Analysts, Product Owners et Product Managers Data.
- Stack technique
Transformation & modélisation Spark, DBT, SQL, Scala, modélisation Médaillon
Formats & stockage Iceberg, Parquet
Orchestration Airflow
Cloud & infrastructure AWS (S3, Glue, Lambda, EMR, Kinesis...), Terraform
Conteneurisation Docker, Kubernetes
Développement & qualité Python, Git, CI/CD, tests unitaires et d'intégration
Méthodologies Agile / Scrum, documentation structurée Au sein du pôle Data Services de SNCF CONNECT, le/la Data Engineer Senior contribue à la conception, à l'industrialisation et à l'évolution des solutions data à l'échelle du groupe. Il/elle intervient sur l'architecture, la modélisation et l'optimisation des pipelines de données et joue un rôle structurant dans la mise en œuvre de la stratégie Lakehouse. Acteur clé des décisions techniques, il/elle accompagne également la montée en compétence des Data Engineers et contribue à l'excellence technique du pôle.
- Expérience significative (5 ans minimum) en Data Engineering.
- Maîtrise avancée des architectures Big Data et Lakehouse.
- Solides compétences en modélisation (Médaillon), ingestion et transformation de données.
- Expertise sur Spark, DBT, Iceberg, AWS, Terraform et environnements conteneurisés.
- Capacité à intervenir sur des pipelines complexes à forte volumétrie.
- Excellentes compétences relationnelles et capacité à interagir avec des profils variés.
- Aptitude à accompagner et mentoriser les équipes.
- Rigueur, autonomie, esprit analytique et culture d'amélioration continue.
Requirements
Au sein du pôle Data Services de SNCF CONNECT, le/la Data Engineer Senior contribue à la conception, à l'industrialisation et à l'évolution des solutions data à l'échelle du groupe. Il/elle intervient sur l'architecture, la modélisation et l'optimisation des pipelines de données et joue un rôle structurant dans la mise en œuvre de la stratégie Lakehouse. Acteur clé des décisions techniques, il/elle accompagne également la montée en compétence des Data Engineers et contribue à l'excellence technique du pôle.
- Expérience significative (5 ans minimum) en Data Engineering.
- Maîtrise avancée des architectures Big Data et Lakehouse.
- Solides compétences en modélisation (Médaillon), ingestion et transformation de données.
- Expertise sur Spark, DBT, Iceberg, AWS, Terraform et environnements conteneurisés.
- Capacité à intervenir sur des pipelines complexes à forte volumétrie.
- Excellentes compétences relationnelles et capacité à interagir avec des profils variés.
- Aptitude à accompagner et mentoriser les équipes.
- Rigueur, autonomie, esprit analytique et culture d'amélioration continue.
