Data Engineer GCP / Spark - Plateforme Data

vous interviendrez sur la plateforme data au cœur des enjeux de collecte, structuration et valorisation des données., Intégré à l'équipe "Bronze", vous contribuerez à la construction et à l'évolution des pipelines de données dans un environnement à forte volumétrie.

️ Vos missions

• Collecter et intégrer des données issues de sources hétérogènes
• Concevoir et maintenir des pipelines data robustes et scalables
• Structurer et organiser le stockage des données (Data Lake)
• Participer à la mise en place d'infrastructures data sur GCP
• Développer et maintenir les workflows CI/CD
• Garantir la qualité, la sécurité et la gouvernance des données
• Accompagner les équipes dans l'exploitation des données
• Contribuer à la documentation et aux bonnes pratiques

Stack technique

• Python, SQL, Spark
• Airflow
• GCP (BigQuery, Dataproc, PubSub, Cloud Storage)
• Delta Lake
• Terraform / Terragrunt
• GitLab CI/CD, Nous recherchons un Data Engineer expérimenté capable d'intervenir sur l'ensemble de la chaîne de traitement de la donnée.

• Expérience significative en Data Engineering (5 ans minimum)
• Maîtrise de Python et SQL
• Bonne expérience sur Spark
• Expérience sur GCP (BigQuery indispensable)
• Expérience sur la mise en place de pipelines data
• Connaissance des architectures Data Lake / Delta Lake
• Maîtrise des outils d'orchestration (Airflow)
• Expérience en CI/CD (GitLab)
• Connaissance des outils d'infrastructure as code (Terraform)
• Bonne compréhension des enjeux de gouvernance et qualité des données

Soft skills :

• Capacité à vulgariser des sujets techniques
• Esprit collaboratif
• Autonomie et rigueur
• Bonne communication