GCP Data Engineer / Data Ops (H/F)
HAPPN
Paris, France
1 day ago
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Apply on www.welcometothejungle.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
5 years minimum
Working hours
Regular working hours
Job source
Tech stack
Query Performance
Java (Programming Language)
Application Programming Interfaces (APIs)
Google AdWords
Artificial Intelligence
Airflow
Data Analysis
Apple IOS
Automation of Tests
BigQuery
Software as a Service
Cloud Computing
+42 more
Cluster Analysis
Databases
Continuous Integration
Information Engineering
Data Governance
Extract Transform Load (ETL)
Data Warehousing
Relational Databases
Linux
DevOps
Github
Identity and Access Management
Python (Programming Language)
PostgreSQL
Machine Learning
Apache Maven
Monte Carlo Methods
NoSQL
Query Optimization
Prometheus
DataOps
SQL Databases
Data Streaming
Tableau (Software)
Qdrant
Google Cloud
Cloud Monitoring
Grafana
Build Server
Backend
Git
Pytest
Kubernetes
Infrastructure Automation Frameworks
Star Schema
Sbt (Software)
Vertica
Streamlit Framework
Terraform
Apache Beam
Docker
Microservices
Job description
Vous intégrerez une équipe Data pluridisciplinaire, dynamique et collaborative, composée de Data Scientists, Data Engineers, BI Specialists et Analysts. Nous encourageons la prise d’initiative, l’innovation et la proposition de nouvelles idées pour faire progresser notre produit et notre plateforme data., 1. Conception et construction de pipelines de données :
- Concevoir, développer et maintenir les flux d’ingestion et de transformation de données (ETL / ELT) en mode batch ou temps réel.
- Connecter diverses sources de données (API, bases de données relationnelles/NoSQL, outils SaaS, fichiers) vers l’entrepôt de données
- Mettre en place des flux Reverse ETL résilients et monitorés (par exemple, alimenter le back-end et le CRM avec les modèles de scoring, la segmentation client et les alertes de fraude) 2. Architecture et stockage :
- Modéliser et optimiser les schémas de données pour l’analyse (Data Modeling, Star Schema, Lakehouse).
- Assurer la performance des requêtes et la scalabilité de l’infrastructure cloud.
- Déployer et maintenir des applications métiers sur mesure (ex. Streamlit) pour répondre aux besoins opérationnels des équipes Data et transverses. 3. Qualité, DataOps et Sécurité :
- Mettre en place des tests automatisés de qualité des données (Data Quality) et surveiller la bonne exécution des pipelines (monitoring, alerting).
- Garantir la sécurité, la conformité (RGPD) et la gouvernance des données (gestion des accès, traçabilité / lineage).
- Industrialiser les processus via des pratiques DevOps (Git, CI/CD, Infrastructure as Code). 4. Maîtriser les coûts Plateforme : partitionnement, clustering, optimisation des requêtes et des scans, optimisation de la plateforme Data Engineering dans sa globalité 5. Accompagner les équipes Analytics, Finance, Marketing et Produit sur leurs besoins data, et participer aux choix d’architecture.
Stack technique
- Cloud : Google Cloud Platform (GCS, Secret Manager)
- Data warehouse : BigQuery
- Orchestration : Airflow 2/3 sur Cloud Composer
- Traitement à fort volume : Dataflow
- Bases de données : BigQuery, ClickHouse, PostgreSQL, Qdrant
- Hébergement d’apps : Kubernetes, Docker
- IaC : Terraform
- Langages : Python, SQL (dialecte BigQuery)
- CI/CD : Google Cloud Build, Git / GitHub, sbt, Maven
- Qualité de code : pytest, coverage, black, sqlfluff, pre-commit
- Sources clés : Adjust, Meta, TikTok, Snapchat, Google Ads, stores iOS / Android, microservices internes
- Destinations : back-end happn, CRM
- Restitution : Tableau, Streamlit, ClickHouse, Superset
- Machine Learning : Vertex AI
Requirements
- 5 ans minimum d’expérience en data engineering, DataOps ou DevOps orienté data
- Très bonne maîtrise de Python et SQL, et à l’aise avec le shell et Linux
- Très bonne maîtrise de Java, Scala
- Expérience solide en CI/CD (Cloud Build, GitHub Actions ou équivalent) : tests automatisés, déploiements, gestion des environnements dev / preprod / prod
- Maîtrise des conteneurs (Docker) et connaissance de Kubernetes (cluster, workload, pod) : déployer une app, diagnostiquer un pod en erreur
- Expérience de l’exploitation de pipelines en production : orchestration (idéalement Airflow), monitoring, alerting, gestion d’incidents et post-mortems
- Culture de l’observabilité et de la qualité de donnée : SLA de fraîcheur, tests de données, détection d’anomalies
- Expérience d’un cloud public, idéalement GCP (BigQuery, GCS, IAM, Secret Manager), et sens du coût (FinOps)
- Réflexe d’automatisation : tout ce qui est fait deux fois à la main devient un script ou un job
- Capacité à échanger avec des équipes non techniques et avec les équipes infra / back-end ; français et anglais
-
Infrastructure as Code : Terraform Les petits plus :
- Expérience de Dataflow / Apache Beam ou Pub/Sub pour le streaming
- Outils de data quality et d’observabilité (Great Expectations, Monte Carlo, Elementary ou équivalent) et de monitoring (Grafana, Prometheus, Cloud Monitoring)
- Expérience dans une app B2C à fort volume
About the company
Nous recherchons un.e Data Engineer passionné.e par la conception de pipelines de données robustes et performants.
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Apply on www.welcometothejungle.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Loading talks and stories from around this role…