Data Platform Engineer Gcp H/F
Role details
Job location
Tech stack
Job description
Au sein de l'équipe Data E-commerce, vous occupez un poste hautement stratégique. En tant que Data Platform Engineer GCP, votre rôle fondamental est de garantir que notre « usine » de données est robuste, scalable, normée et performante.
Vous concevez, déployez et maintenez le cadre technique et l'infrastructure Cloud qui permettent l'industrialisation des flux de données alimentant l'écosystème IRMA (l'outil de BI basé sur Qlik Sense, utilisé par plus de 2 900 collaborateurs) ainsi que l'ensemble des outils data du Groupe.
Votre mission consiste à bâtir une infrastructure ultra-performante et automatisée, tout en assurant une parfaite coordination avec le Tech Lead - qui est de son côté, le garant de l'intelligence métier, du code SQL applicatif et du contenu des données., Architecture, Build & FinOps : Propulser et industrialiser nos architectures de données sur GCP. Vous avez la responsabilité de la configuration, de la sécurité et de l'organisation des Buckets Cloud Storage ainsi que de la stabilité globale de Cloud Composer. Votre défi : transformer l'existant en un écosystème cost-efficient, capable d'absorber une volumétrie e-commerce massive tout en optimisant l'empreinte financière Cloud.
- Gouvernance Technique & Standardisation : Définir, documenter et diffuser les standards de structure et de nommage du département. Sur Dataform, vous concevez l'arborescence optimale des dossiers et la nomenclature des tags. Sur Airflow, vous structurez les normes de nommage des DAGs et instaurez les meilleures pratiques de développement Python (structure des opérateurs, gestion des erreurs).
- Qualité du code & Mentoring : Garantir l'excellence technique et le respect des standards de code SQLX sur Dataform (partitionnement, clusterisation, fenêtrage). Vous accompagnez les membres de l'équipe dans leur montée en compétences et l'adoption de ces bonnes pratiques au quotidien.
- Industrialisation & CI/CD : Assurer la robustesse des pipelines GitLab CI/CD. Vous ferez évoluer l'intégration continue au-delà de Dataform en automatisant, en lien avec les équipes VPOP, les déploiements pour Cloud Composer, Cloud Run et nos futurs produits (notamment ceux liés à l'agent IA d'analyse e-commerce). L'objectif : garantir une autonomie sécurisée pour l'équipe via des tests automatisés, sans intervention manuelle systématique.
- Observabilité & Optimisation des Performances : Monitorer les latences techniques de la plateforme et optimiser les performances globales de BigQuery (en particulier sur les agrégats générés par les agents IA, afin de prévenir l'explosion des coûts). Vous êtes le garant de l'Alerting Technique (ex. crash d'un job Airflow, coupure d'API, saturation BigQuery).
- Développement « Hands-on » : Conserver une approche opérationnelle en assurant, de temps à autre, le développement de bout-en-bout d'un nouveau flux jusqu'à l'exposition des données (vers un GSheet, un agent IA ou Qlik Sense). Cela vous permet de garder une vision pragmatique et une compréhension globale de l'écosystème technique de l'équipe.
Requirements
Expérience : Vous justifiez de 5 à 8 ans minimum d'expérience en Data Engineering Cloud, avec une maîtrise approfondie et démontrée de l'écosystème GCP.
- Hard Skills : Vous êtes un profil de type "Power User" sur BigQuery, Dataform et Cloud Composer (Airflow). Vous possédez une maîtrise avancée de SQL et Python.
- Engineering Culture : Vous avez une forte sensibilité à la fiabilité des données (Data Reliability), aux pratiques FinOps et à la philosophie CI/CD (GitLab). Une expérience préalable dans un environnement e-commerce à forte volumétrie est un véritable atout.
- Posture : Doté(e) d'une grande rigueur, vous savez faire preuve de pédagogie pour vulgariser des concepts techniques complexes. Votre leadership naturel vous permet de fédérer les équipes et de mener à bien des chantiers transverses à l'échelle d'un grand Groupe.
Notre environnement technique
- Stack : Google Cloud Platform (GCP Full Stack)
- Stockage & Calcul : BigQuery, Cloud Storage, Cloud Run
- Orchestration : Cloud Composer (Airflow), Dataform
- CI/CD : GitLab / GitLab CI
- Observabilité : Sifflet
- Écosystème BI : Qlik Sense (IRMA), Looker Studio, Management d'équipe Business Intelligence Pédagogie Google cloud platform Looker Studio Définition de l'arborescence SQL Git Qlik Sense Normalisation Optimisation des performances Python Qualité fédératrice
Benefits & conditions
Contrat : CDI
- Lieu : Siège mondial du groupe Carrefour, Massy, France
- Statut : Cadre - Niveau 8
- Intéressement et participation
- Télétravail : Possibilité de bénéficier d'un jour de télétravail
- Mutuelle / prévoyance
- Remboursement des frais de transport à hauteur de 50%