Data Engineer Senior - Iceberg H/F

Le consultant interviendra sur des sujets à forts enjeux autour de la Data Engineering, des architectures Lakehouse, de la modélisation et de l’optimisation des pipelines, avec une forte dimension industrialisation et Cloud., Concevoir, développer et optimiser des pipelines Data à grande échelle.

• Mettre en place des flux batch, streaming et ingestion via API.
• Structurer les données selon le modèle Médaillon : Bronze / Silver / Gold.
• Développer et industrialiser les pipelines avec DBT, Spark et Iceberg.
• Participer à la conception et à l’évolution de l’architecture Lakehouse.
• Déployer et maintenir les pipelines dans un environnement AWS.
• Orchestrer les workflows ETL/ELT avec Airflow.
• Mettre en oeuvre l’Infrastructure as Code avec Terraform.
• Exécuter et maintenir les traitements dans des environnements Docker / Kubernetes.
• Garantir la disponibilité, la supervision et l’observabilité des traitements.
• Participer à la gestion des incidents et à l’amélioration continue.
• Définir et automatiser les règles de Data Quality : tests, contrôles et validations.
• Documenter les architectures, pipelines et règles métier.
• Veiller à la conformité des flux, notamment sur les aspects RGPD.

Profil recherchéData Engineer Senior avec 8 ans minimum d’expérience dans les environnements Big Data / Cloud / LakehouseExpérience concrète de la conception et de l’industrialisation de pipelines Data complexesCapacité à intervenir sur les sujets techniques et les choix d’architectureMaîtrise indispensable de DBT, Apache Iceberg, AWS, Python, Apache Spark et Modélisation Data / Médaillon (Bronze, Silver, Gold)Compétences importantes en Terraform / Infrastructure as Code, Airflow, Docker, Kubernetes, Datadog / Observabilité, Trino / Starburst, Streaming / ingestion API, Data Quality / tests automatisés, Architecture Lakehouse et Big DataForte capacité d’analyse et de résolution de problèmesBonne compréhension des enjeux métiersAutonomie et capacité à intervenir sur des sujets complexesRigueur dans la conception et l’industrialisationCulture DevOps / DataOpsSensibilité forte à la qualité, la fiabilité et l’observabilité des donnéesCapacité à documenter et à communiquer avec les équipes techniques et métiersProfil très orienté AWS + Spark + DBT + Iceberg avec une vraie expérience LakehouseExpérience concrète et discriminante sur Iceberg + DBT + Spark dans un environnement AWS, 1. Data Engineer Senior avec 8 ans minimum d’expérience dans les environnements Big Data / Cloud / Lakehouse

1. Expérience concrète de la conception et de l’industrialisation de pipelines Data complexes
2. Capacité à intervenir sur les sujets techniques et les choix d’architecture
3. Maîtrise indispensable de DBT, Apache Iceberg, AWS, Python, Apache Spark et Modélisation Data / Médaillon (Bronze, Silver, Gold)
4. Compétences importantes en Terraform / Infrastructure as Code, Airflow, Docker, Kubernetes, Datadog / Observabilité, Trino / Starburst, Streaming / ingestion API, Data Quality / tests automatisés, Architecture Lakehouse et Big Data
5. Forte capacité d’analyse et de résolution de problèmes
6. Bonne compréhension des enjeux métiers
7. Autonomie et capacité à intervenir sur des sujets complexes
8. Rigueur dans la conception et l’industrialisation
9. Culture DevOps / DataOps
10. Sensibilité forte à la qualité, la fiabilité et l’observabilité des données
11. Capacité à documenter et à communiquer avec les équipes techniques et métiers
12. Profil très orienté AWS + Spark + DBT + Iceberg avec une vraie expérience Lakehouse
13. Expérience concrète et discriminante sur Iceberg + DBT + Spark dans un environnement AWS

EUR

ETL API AWS Batching Kubernetes Big data Python Autonomie Terraform Docker

Taux journalier :Salaire selon profil

False

EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree EducationalOccupationalCredential

Dans le cadre du renforcement de son pôle Data Services, un grand acteur du secteur ferroviaire recherche un Data Engineer Senior pour accompagner la conception, l’industrialisation et l’évolution de ses solutions Data.