Data Platform Engineer - Exposition de données (H/F
Role details
Job location
Tech stack
Job description
Dans ce contexte, les équipes IT recherchent un profil expérimenté sur la construction de plateformes autour de l'exposition de données.
Objectif de la mission
L'objectif est de construire un service clé en main permettant aux équipes d'exposer facilement des données BigQuery vers des applications opérationnelles, au travers :
- d'une base de données optimisée pour des lectures à haute fréquence ;
- d'une couche d'API auto-générée.
Périmètre de la mission
La mission couvre trois axes :
-
Implémentation
-
Mettre en place le pipeline de réplication de BigQuery vers une base de données opérationnelle
-
Déployer la couche d'API GraphQL auto-générée au-dessus de cette base
- Industrialisation
- Construire les composants permettant de provisionner automatiquement l'ensemble de la stack pour chaque nouveau cas d'usage
- Mettre en place les éléments nécessaires au self-service deployment
- S'appuyer sur des approches Infrastructure as Code, templates et automatisation
- Observabilité
- Fournir aux utilisateurs une vue de monitoring prête à l'emploi de leur pipeline
- Couvrir à la fois :
- le pipeline de réplication
- la couche API
- Mettre à disposition les métriques, alertes et dashboards associés
Livrables attendus
- Mise en place du pipeline de réplication BigQuery base opérationnelle
- Déploiement de la couche GraphQL auto-générée
- Industrialisation du provisioning de la stack pour les nouveaux use cases
- Mise en place de l'observabilité du pipeline et de l'API (métriques, alerting, dashboards)
Requirements
Le/la consultant(e) devra justifier d'une expérience significative sur des projets similaires, notamment autour de :
- la réplication de données dans un environnement cloud
- la mise en place d'une couche d'API auto-générée au-dessus d'une base relationnelle
- l'automatisation de l'infrastructure, * Google Cloud : confirmé
- Terraform / Ansible / Infrastructure as Code : confirmé
- GraphQL : avancé
- BigQuery : confirmé
- AlloyDB : confirmé