Data Engineer GCP

Le poste concerne un projet de migration et de refonte de traitements de données vers GCP, dans le cadre d?un projet dans le secteur des télécommunications.

Le besoin porte sur :

• La migration de traitements Python existants provenant d?une ancienne infrastructure.

• Le portage et la restructuration de données.

• L?atterrissage des données dans BigQuery.

• Le traitement de données froides et chaudes, avec une partie temps réel prise en charge via Kafka.

• Les données traitées seraient ensuite consolidées afin de pouvoir être exploitées.

Missions principales:

• Migrer les traitements existants en Python vers GCP.

• Reprendre, adapter et optimiser les pipelines pour un fonctionnement sur BigQuery.

• Participer à la restructuration des données et à la mise en place de nouveaux traitements.

Assurer le traitement :

de données « froides » (batch),

de données « chaudes » (temps réel) via Kafka.

Contribuer à l?industrialisation, aux tests, et à la mise en production sur GCP.

• Maîtrise de GCP (Google Cloud Platform)

• Très bonne connaissance de Python

• Très bonne maîtrise du SQL

• Expérience sur BigQuery

• Connaissances ou expérience avec Kafka, 4 ans d?expérience environ

Capacité à reprendre des traitements existants et à les porter dans un nouvel environnement Cloud

Rigueur, autonomie et compréhension des enjeux de traitement de données à forte volumétrie

Poste en CDI