Data Engineer GCP / Talend - F/H
Role details
Job location
Tech stack
Job description
En tant que Data Engineer, vous aurez la charge de concevoir, développer et d'optimiser des solutions Data adaptées aux besoins de nos différents métiers.
Votre expertise avancée sur les différents services GCP, combinée à une solide maîtrise de SQL et python, sera essentielle pour concevoir des solutions performantes et alignées avec les besoins métiers. Vous serez un acteur clé de l'équipe technique de la Data Factory pour garantir la fiabilité et la performance des systèmes de traitement de données.
Description * Concevoir et développer des pipelines de données robustes et scalables en utilisant Talend et les services de Google Cloud Platform (BigQuery, DataForm, Dataflow, Pub/Sub, CloudComposer). Vous serez au cœur de la construction d'une infrastructure de données moderne et performante.
-
Travaux sur le maintien des solutions au bon niveau technologique
-
Travaux sur la compliance réglementaire de nos assets
-
Améliorer la performance et la scalabilité des solutions existantes pour répondre aux besoins stratégiques de l'entreprise.
-
Collaborer étroitement avec les architectes, PO et Data Analyst pour garantir la qualité et l'exploitation optimale des données.
-
Maintenir une documentation technique précise et complète sur les processus et les solutions implémentés.
-
Réalise la recette technique et participe à animer la recette fonctionnelle avec les utilisateurs et le PO
-
Mettre en place et gérer des systèmes de monitoring et d'alerting pour assurer une supervision proactive des pipelines et systèmes de données, garantissant leur fiabilité et leur disponibilité.
-
Support au déploiement
-
Assure la maintenance corrective ou évolutive
-
S'assure de la cohérence des livrables avec les règles et bonnes pratiques définies au sein de l'équipe
Livrables pipelines de données
Documentations techniques
Requirements
-
Compétences techniques requises :
-
Langages : Maîtrise de SQL et connaissance de langages comme Python ou Java pour les traitements de données.
-
GCP : Expérience sur les outils BigQuery, Dataflow, DataForm, Pub/Sub, CoudComposer et d'autres services GCP liés aux données.
-
Talend : expérience de développement de job DI en version Enterprise
-
Connaissances et pratiques dans la conception et la gestion des workflows
-
Outils : Familiarité avec des outils de CI/CD comme Git, Jenkins, ou Terraform (serait un plus).