Data Engineer Python - Gcp H/F

La mission vient dans le contexte d’un projet de gestion (Build + Run) d’une plateforme data sur GCP pour les données de l’entreprise.

Interlocuteurs : Directeur Data, Data Analysts, Data Engineers, Data Scientists, Product Owners, Équipe Métier., Mise en place de pipelines d’ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).

• Transformation des données via dbt selon les modèles métiers définis.
• Gestion de l’infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.
• Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.
• Développement du backend d’un portail utilisateur pour l’accès aux services de la plateforme (Flask).
• Création d’un connecteur entre GCP et l’outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).
• Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).
• Mise en place de la supervision et du monitoring des pipelines de données.
• Rédaction de la documentation technique liée aux développements réalisés.

Environnement technique

• GCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage
• Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Profil recherchéData Engineer GCP confirmé/senior, avec une forte expérience de BigQuery, GCS, Pub/Sub, Cloud Run/Functions et des pipelines d’ingestion cloud.Très bonne maîtrise de Python, SQL et dbt, avec expérience de transformation et modélisation de données.Solide compétence Cloud / DevOps / Infra as Code : Terraform, Docker, Kubernetes/GKE, Argo Workflows et GitLab CI/CD.Profil autonome et orienté plateforme, capable d’intervenir aussi bien en Build qu’en Run : monitoring, gestion des accès/ressources, industrialisation et documentation., * Data Engineer GCP confirmé/senior, avec une forte expérience de BigQuery, GCS, Pub/Sub, Cloud Run/Functions et des pipelines d’ingestion cloud.

• Très bonne maîtrise de Python, SQL et dbt, avec expérience de transformation et modélisation de données.
• Solide compétence Cloud / DevOps / Infra as Code : Terraform, Docker, Kubernetes/GKE, Argo Workflows et GitLab CI/CD.
• Profil autonome et orienté plateforme, capable d’intervenir aussi bien en Build qu’en Run : monitoring, gestion des accès/ressources, industrialisation et documentation.

EUR

Bash Google cloud platform SQL Git Kubernetes Python Terraform Docker

Salaire :Salaire selon profil

False

EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree EducationalOccupationalCredential