TECH LEAD DATA GCP
Role details
Job location
Tech stack
Job description
? La migration et le déploiement en production de traitements de données sur GCP (workflows)
? La copie d?historique de données depuis le data warehouse on-prem vers GCP BigQuery
? La mise en place d?un orchestrateur pour les traitements de données sur GCP
? La mise en place d?une solution de data lineage au niveau colonne de données.
? L?automisation de processus de data engineering par l?IA ou une plateforme d?automatisation (e.g. n8n).
La composante développement sera importante, jusqu?à 80% du temps et dépendra de la taille de la squad et de la charge de développement., ? Participer aux analyses, études d?impacts et cadrage techniques
? Concevoir des solutions en respectant l?architecture data et les bonnes pratiques de développement
? Réaliser le développement des data products et assurer la maintenance évolutive et corrective des data products existants
? Effectuer des contrôles croisés entre développeurs ou des relectures de code afin d?assurer la qualité des développements réalisés par l?équipe
? Rédiger la documentation technique des data products
? Apporter une expertise de troisième niveau dans les incidents de production, et si besoin la réalisation de solution de contournements, ou de correctifs de manière à assurer une qualité de fonctionnement optimale
? Accompagner les Data Engineers sur les bonnes pratiques, les choix d?architecture et dans leur travail au quotidien
? Effectuer les audits et les contrôles des développements réalisés : Sécurité, Maintenabilité, Robustesse et Performance
? Reporter l?activité à la Squad et travailler dans une démarche d?efficacité collective
Livrables principaux : ? Etudes d?impact technique
? Faire des propositions techniques
? Réaliser du code applicatif à l?état de l?art sur notre Data Platform GCP
? Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l?ordonnancements
? Schéma de solution des flux, modèle de données
? Fournir des chiffrages détaillés des futures réalisations
? Relecture de code technique
? Rédaction de SFD, STD, Manuel d?installation
Compétences techniques : ? Langages de programmation : Python, SQL, Scripts Shell
? Services de streaming data : Kafka
? Services d?ingestion des données : Kafka Connect, SFTP
? Services de stockage : GCP BigQuery, Cloud Storage, Kafka, Sharepoint
? Processing : Scripts Python, Data Build Tool (DBT), GCP Dataflow
? Restitution : Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel)
? Outils de collaboration et de CI/CD : GitLab
?Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm Charts, Terraform
? Testing : Tests avec DBT, Tests de non-régression, collaboration avec la QA.
? Outils IA et d?automatisation : Gemini Code Assist, Antigravity, n8n, Gitlab Duo
? Manipulation des formats de fichiers : CSV, JSON, Avro, XML, Profil candidat:Je recherche pour un de mes clients un Tech Lead Data : Dans ce cadre, la nouvelle squad aura la charge de : ? La migration et le déploiement en production de traitements de données sur GCP (workflows)
? La copie d?historique de données depuis le data warehouse on-prem vers GCP BigQuery
? La mise en place d?un orchestrateur pour les traitements de données sur GCP
? La mise en place d?une solution de data lineage au niveau colonne de données.
? L?automisation de processus de data engineering par l?IA ou une plateforme d?automatisation (e.g. n8n).
La composante développement sera importante, jusqu?à 80% du temps et dépendra de la taille de la squad et de la charge de développement., ? Participer aux analyses, études d?impacts et cadrage techniques
? Concevoir des solutions en respectant l?architecture data et les bonnes pratiques de développement
? Réaliser le développement des data products et assurer la maintenance évolutive et corrective des data products existants
? Effectuer des contrôles croisés entre développeurs ou des relectures de code afin d?assurer la qualité des développements réalisés par l?équipe
? Rédiger la documentation technique des data products
? Apporter une expertise de troisième niveau dans les incidents de production, et si besoin la réalisation de solution de contournements, ou de correctifs de manière à assurer une qualité de fonctionnement optimale
? Accompagner les Data Engineers sur les bonnes pratiques, les choix d?architecture et dans leur travail au quotidien
? Effectuer les audits et les contrôles des développements réalisés : Sécurité, Maintenabilité, Robustesse et Performance
? Reporter l?activité à la Squad et travailler dans une démarche d?efficacité collective
Livrables principaux : ? Etudes d?impact technique
? Faire des propositions techniques
? Réaliser du code applicatif à l?état de l?art sur notre Data Platform GCP
? Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l?ordonnancements
? Schéma de solution des flux, modèle de données
? Fournir des chiffrages détaillés des futures réalisations
? Relecture de code technique
Requirements
? Proactivité et prise d?initiative
? Autonomie et rigueur
? Capacité à communiquer, à travailler en équipe et excellent relationnel
? Capacité d?adaptation aux changements
? Curiosité, veille technologie sur le data engineering et sur l?AI / ML
? Capacité à aborder des problèmes complexes de manière structurée
? Aptitude à concevoir des solutions innovantes
? Capacité d?écoute, d?analyse et de synthèse
