Data Engineer Gcp Kafka H/F
Vorstone
Canton de Torcy, France
2 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
French, English Experience level
SeniorJob location
Canton de Torcy, France
Tech stack
Java
Airflow
Google BigQuery
Cloud Storage
Code Review
Continuous Integration
Data Flow Control
Identity and Access Management
Python
Metadata Repositories
Performance Tuning
Scala
SQL Databases
Data Streaming
Google Cloud Platform
GIT
Gitlab-ci
Data Lineage
Kafka
Data Management
Data Lakehouse
Terraform
Microservices
Job description
Concevoir et déployer une data plateforme complète sur GCP (architecture, sécurité, gouvernance, automatisation).
- Développer et maintenir des pipelines de données robustes (batch & streaming) en utilisant Kafka, Dataflow, Pub/Sub, BigQuery, etc.
- Industrialiser les traitements : CI/CD, monitoring, observabilité, optimisation des performances.
- Assurer la qualité, la disponibilité et la conformité des données (Data Quality, Data Lineage, Data Catalog).
- Encadrer techniquement les équipes data : mentoring, revue de code, bonnes pratiques, standards d'architecture.
- Collaborer avec les équipes produit, BI, IA et sécurité pour garantir une exploitation optimale de la plateforme.
- Participer aux choix technologiques et à la roadmap d'évolution de l'écosystème data.
- Documenter les architectures, flux et modèles de données pour assurer la pérennité des solutions.
Requirements
Cloud GCP : BigQuery, Dataflow, Pub/Sub, Cloud Storage, Composer, IAM.
- Streaming & Messaging : Kafka (avancé), gestion des topics, partitions, performances, monitoring.
- Développement : Python, Java ou Scala ; frameworks de data processing.
- Orchestration & CI/CD : Airflow, Cloud Composer, GitLab CI, Terraform.
- Data Engineering avancé : modélisation, optimisation SQL, ingestion massive, data quality.
- Architecture : data mesh, data lakehouse, microservices data, sécurité & gouvernance., Leadership technique et capacité à fédérer.
- Forte autonomie et sens de la responsabilité.
- Capacité à vulgariser des sujets complexes.
- Rigueur, sens du détail, orientation performance.
- Esprit collaboratif et culture produit.
Langues
- Anglais obligatoire (échanges internationaux, documentation, réunions)., Profil recherchéProfil recherché7 à 10 ans d'expérience en data engineering.Expérience démontrée dans la construction d'une data plateforme from scratch.Maîtrise des environnements cloud, idéalement GCP.Expertise Kafka indispensable., * 7 à 10 ans d'expérience en data engineering.
- Expérience démontrée dans la construction d'une data plateforme from scratch.
- Maîtrise des environnements cloud, idéalement GCP.
- Expertise Kafka indispensable.
EUR
Management d'équipe Business Intelligence Anglais Scala Google cloud platform SQL Gestion des données Git Batching Python Autonomie KAFKA Terraform Qualité fédératrice Java, Monitoring
Benefits & conditions
Taux journalier :Salaire selon profil
About the company
Le Data Ingénieur Senior pilote la conception, la mise en place et l'évolution d'une data plateforme moderne sur Google Cloud Platform. Il garantit la fiabilité, la performance et la scalabilité des pipelines de données, tout en accompagnant les équipes dans l'adoption des meilleures pratiques data.