Data Engineer - Platform Streaming & Kafka Self-Service - Expérience H/F
Role details
Job location
Tech stack
Job description
HELPLINE Lille recherche son nouveau talent sur la fonction de Data Engineer H/F, positionné(e) directement au coeur des équipes ingénierie chez notre client grand compte sur la métropole lilloise.
Au sein de l'équipe Data Engineering (composée de plusieurs Développeurs, d'un PO et d'un EM), votre mission principale consistera à concevoir, bâtir et automatiser une plateforme de streaming de données basée sur Kafka, utilisable en self-service par les différentes équipes de développement.
L'objectif majeur est de proposer une alternative moderne et événementielle aux architectures ETL historiques du groupe, afin d'accélérer la transition vers une Data Platform cible et de renforcer l'autonomie des équipes Software., Ce que nous allons accomplir ensemble :Architecture & Self-Service : Mettre en place la configuration as-code de la plateforme Kafka et de son écosystème. Déployer des outils Self-Service (notamment via KRO - Kafka Resource Operator) pour permettre aux équipes de provisionner leurs ressources Kafka de manière autonome.CI/CD & Automation : Concevoir et maintenir les pipelines de CI/CD sous GitLab CI et appliquer une approche GitOps / IaC pour l'automatisation des ressources.Documentation & Support : Rédiger la documentation, les guides de bonnes pratiques utilisateurs et les procédures d'exploitation, tout en assurant le support technique du quotidien auprès des équipes consommatrices.Projets structurants : Participer activement aux étapes de conception, d'évolution et d'extension de la nouvelle Data Platform globale.Organisation du travail : Rythme de travail en hybride (3 jours fixes sur site / 2 jours en télétravail).Le poste est soumis à des astreintes., * Architecture & Self-Service : Mettre en place la configuration as-code de la plateforme Kafka et de son écosystème. Déployer des outils Self-Service (notamment via KRO - Kafka Resource Operator) pour permettre aux équipes de provisionner leurs ressources Kafka de manière autonome.
- CI/CD & Automation : Concevoir et maintenir les pipelines de CI/CD sous GitLab CI et appliquer une approche GitOps / IaC pour l'automatisation des ressources.
- Documentation & Support : Rédiger la documentation, les guides de bonnes pratiques utilisateurs et les procédures d'exploitation, tout en assurant le support technique du quotidien auprès des équipes consommatrices.
- Projets structurants : Participer activement aux étapes de conception, d'évolution et d'extension de la nouvelle Data Platform globale.
Organisation du travail : Rythme de travail en hybride (3 jours fixes sur site / 2 jours en télétravail). Le poste est soumis à des astreintes.
Requirements
ETL Assistance technique Git Création d'une base documentaire Guide de bonnes pratiques KAFKA Automation
Data Engineer - Platform Streaming & Kafka Self-Service - Expérience H/F