GCP Data Engineer / Data Ops (H/F)

HAPPN
Paris, France
1 day ago
Apply on www.welcometothejungle.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
5 years minimum
Working hours
Regular working hours

Tech stack

Query Performance Java (Programming Language) Application Programming Interfaces (APIs) Google AdWords Artificial Intelligence Airflow Data Analysis Apple IOS Automation of Tests BigQuery Software as a Service Cloud Computing
+42 more
Cluster Analysis Databases Continuous Integration Information Engineering Data Governance Extract Transform Load (ETL) Data Warehousing Relational Databases Linux DevOps Github Identity and Access Management Python (Programming Language) PostgreSQL Machine Learning Apache Maven Monte Carlo Methods NoSQL Query Optimization Prometheus DataOps SQL Databases Data Streaming Tableau (Software) Qdrant Google Cloud Cloud Monitoring Grafana Build Server Backend Git Pytest Kubernetes Infrastructure Automation Frameworks Star Schema Sbt (Software) Vertica Streamlit Framework Terraform Apache Beam Docker Microservices

Job description

Vous intégrerez une équipe Data pluridisciplinaire, dynamique et collaborative, composée de Data Scientists, Data Engineers, BI Specialists et Analysts. Nous encourageons la prise d’initiative, l’innovation et la proposition de nouvelles idées pour faire progresser notre produit et notre plateforme data., 1. Conception et construction de pipelines de données :

  • Concevoir, développer et maintenir les flux d’ingestion et de transformation de données (ETL / ELT) en mode batch ou temps réel.
  • Connecter diverses sources de données (API, bases de données relationnelles/NoSQL, outils SaaS, fichiers) vers l’entrepôt de données
  • Mettre en place des flux Reverse ETL résilients et monitorés (par exemple, alimenter le back-end et le CRM avec les modèles de scoring, la segmentation client et les alertes de fraude) 2. Architecture et stockage :
  • Modéliser et optimiser les schémas de données pour l’analyse (Data Modeling, Star Schema, Lakehouse).
  • Assurer la performance des requêtes et la scalabilité de l’infrastructure cloud.
  • Déployer et maintenir des applications métiers sur mesure (ex. Streamlit) pour répondre aux besoins opérationnels des équipes Data et transverses. 3. Qualité, DataOps et Sécurité :
  • Mettre en place des tests automatisés de qualité des données (Data Quality) et surveiller la bonne exécution des pipelines (monitoring, alerting).
  • Garantir la sécurité, la conformité (RGPD) et la gouvernance des données (gestion des accès, traçabilité / lineage).
  • Industrialiser les processus via des pratiques DevOps (Git, CI/CD, Infrastructure as Code). 4. Maîtriser les coûts Plateforme : partitionnement, clustering, optimisation des requêtes et des scans, optimisation de la plateforme Data Engineering dans sa globalité 5. Accompagner les équipes Analytics, Finance, Marketing et Produit sur leurs besoins data, et participer aux choix d’architecture.

Stack technique

  • Cloud : Google Cloud Platform (GCS, Secret Manager)
  • Data warehouse : BigQuery
  • Orchestration : Airflow 2/3 sur Cloud Composer
  • Traitement à fort volume : Dataflow
  • Bases de données : BigQuery, ClickHouse, PostgreSQL, Qdrant
  • Hébergement d’apps : Kubernetes, Docker
  • IaC : Terraform
  • Langages : Python, SQL (dialecte BigQuery)
  • CI/CD : Google Cloud Build, Git / GitHub, sbt, Maven
  • Qualité de code : pytest, coverage, black, sqlfluff, pre-commit
  • Sources clés : Adjust, Meta, TikTok, Snapchat, Google Ads, stores iOS / Android, microservices internes
  • Destinations : back-end happn, CRM
  • Restitution : Tableau, Streamlit, ClickHouse, Superset
  • Machine Learning : Vertex AI

Requirements

  • 5 ans minimum d’expérience en data engineering, DataOps ou DevOps orienté data
  • Très bonne maîtrise de Python et SQL, et à l’aise avec le shell et Linux
  • Très bonne maîtrise de Java, Scala
  • Expérience solide en CI/CD (Cloud Build, GitHub Actions ou équivalent) : tests automatisés, déploiements, gestion des environnements dev / preprod / prod
  • Maîtrise des conteneurs (Docker) et connaissance de Kubernetes (cluster, workload, pod) : déployer une app, diagnostiquer un pod en erreur
  • Expérience de l’exploitation de pipelines en production : orchestration (idéalement Airflow), monitoring, alerting, gestion d’incidents et post-mortems
  • Culture de l’observabilité et de la qualité de donnée : SLA de fraîcheur, tests de données, détection d’anomalies
  • Expérience d’un cloud public, idéalement GCP (BigQuery, GCS, IAM, Secret Manager), et sens du coût (FinOps)
  • Réflexe d’automatisation : tout ce qui est fait deux fois à la main devient un script ou un job
  • Capacité à échanger avec des équipes non techniques et avec les équipes infra / back-end ; français et anglais
  • Infrastructure as Code : Terraform Les petits plus :

  • Expérience de Dataflow / Apache Beam ou Pub/Sub pour le streaming
  • Outils de data quality et d’observabilité (Great Expectations, Monte Carlo, Elementary ou équivalent) et de monitoring (Grafana, Prometheus, Cloud Monitoring)
  • Expérience dans une app B2C à fort volume

About the company

Nous recherchons un.e Data Engineer passionné.e par la conception de pipelines de données robustes et performants.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.welcometothejungle.com
Prepare application

Good distractions

Loading talks and stories from around this role…