Data Engineer Gcp Kafka H/F

Vorstone
Canton de Torcy, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French, English
Experience level
Senior

Job location

Canton de Torcy, France

Tech stack

Java
Airflow
Google BigQuery
Cloud Storage
Code Review
Continuous Integration
Data Flow Control
Identity and Access Management
Python
Metadata Repositories
Performance Tuning
Scala
SQL Databases
Data Streaming
Google Cloud Platform
GIT
Gitlab-ci
Data Lineage
Kafka
Data Management
Data Lakehouse
Terraform
Microservices

Job description

Concevoir et déployer une data plateforme complète sur GCP (architecture, sécurité, gouvernance, automatisation).

  • Développer et maintenir des pipelines de données robustes (batch & streaming) en utilisant Kafka, Dataflow, Pub/Sub, BigQuery, etc.
  • Industrialiser les traitements : CI/CD, monitoring, observabilité, optimisation des performances.
  • Assurer la qualité, la disponibilité et la conformité des données (Data Quality, Data Lineage, Data Catalog).
  • Encadrer techniquement les équipes data : mentoring, revue de code, bonnes pratiques, standards d'architecture.
  • Collaborer avec les équipes produit, BI, IA et sécurité pour garantir une exploitation optimale de la plateforme.
  • Participer aux choix technologiques et à la roadmap d'évolution de l'écosystème data.
  • Documenter les architectures, flux et modèles de données pour assurer la pérennité des solutions.

Requirements

Cloud GCP : BigQuery, Dataflow, Pub/Sub, Cloud Storage, Composer, IAM.

  • Streaming & Messaging : Kafka (avancé), gestion des topics, partitions, performances, monitoring.
  • Développement : Python, Java ou Scala ; frameworks de data processing.
  • Orchestration & CI/CD : Airflow, Cloud Composer, GitLab CI, Terraform.
  • Data Engineering avancé : modélisation, optimisation SQL, ingestion massive, data quality.
  • Architecture : data mesh, data lakehouse, microservices data, sécurité & gouvernance., Leadership technique et capacité à fédérer.
  • Forte autonomie et sens de la responsabilité.
  • Capacité à vulgariser des sujets complexes.
  • Rigueur, sens du détail, orientation performance.
  • Esprit collaboratif et culture produit.

Langues

  • Anglais obligatoire (échanges internationaux, documentation, réunions)., Profil recherchéProfil recherché7 à 10 ans d'expérience en data engineering.Expérience démontrée dans la construction d'une data plateforme from scratch.Maîtrise des environnements cloud, idéalement GCP.Expertise Kafka indispensable., * 7 à 10 ans d'expérience en data engineering.
  • Expérience démontrée dans la construction d'une data plateforme from scratch.
  • Maîtrise des environnements cloud, idéalement GCP.
  • Expertise Kafka indispensable.

EUR

Management d'équipe Business Intelligence Anglais Scala Google cloud platform SQL Gestion des données Git Batching Python Autonomie KAFKA Terraform Qualité fédératrice Java, Monitoring

Benefits & conditions

Taux journalier :Salaire selon profil

About the company

Le Data Ingénieur Senior pilote la conception, la mise en place et l'évolution d'une data plateforme moderne sur Google Cloud Platform. Il garantit la fiabilité, la performance et la scalabilité des pipelines de données, tout en accompagnant les équipes dans l'adoption des meilleures pratiques data.

Apply for this position