Expert Kafka / Confluent - Socle Data Streaming (H/F)

L?objectif est de concevoir, déployer et industrialiser une plateforme de Data Streaming capable de répondre à différents besoins d?échange, de réplication et d?intégration de données.

Vous interviendrez sur les différentes phases du projet, de la conception de l?architecture à la mise en production, en passant par l?administration, l?optimisation et la sécurisation du socle technique.

Missions principales : 1. Conception et mise en ?uvre du socle Kafka

Participer à la conception et à la mise en ?uvre de l?architecture Kafka Confluent.

Contribuer au déploiement et à la configuration des composants du cluster Kafka.

Mettre en place et configurer les connecteurs nécessaires aux échanges de données.

Participer à l?intégration de Kafka dans l?écosystème technique existant.

1. Administration et expertise technique

Assurer l?administration et le maintien en conditions opérationnelles du socle Kafka.

Diagnostiquer et résoudre les incidents complexes.

Analyser les performances et optimiser le fonctionnement des clusters.

Contribuer à l’amélioration continue de la plateforme et à sa fiabilité.

1. Scripting et automatisation

Développer des scripts pour automatiser les opérations d?administration et d?exploitation.

Utiliser Python, Shell et JSON pour répondre aux besoins du projet.

Participer à l?automatisation des déploiements et des opérations techniques.

1. Documentation et accompagnement

Rédiger la documentation technique : architecture, administration, exploitation et procédures opérationnelles.

Produire un reporting régulier et assurer le suivi des activités.

Participer aux réunions techniques et collaborer avec les équipes projet.

Organiser des transferts de compétences auprès des équipes.

Profil recherché : Nous recherchons un consultant expérimenté disposant d’au moins 5 ans d?expérience sur des projets Kafka, avec une solide expertise technique et une capacité à intervenir en autonomie.

Vous justifiez notamment d?expériences significatives en : Administration de socles Kafka complexes.

Conception et mise en ?uvre d?architectures Kafka.

Résolution d?incidents techniques complexes.

Optimisation des performances et de la disponibilité des plateformes.

Développement de scripts d?automatisation.

Vous êtes reconnu pour votre autonomie, votre esprit d?analyse et de synthèse, ainsi que vos qualités rédactionnelles et relationnelles. Vous appréciez le travail en équipe et savez communiquer efficacement avec différents interlocuteurs techniques.

Compétences indispensables : Expertise sur Apache Kafka et la distribution Confluent.

Maîtrise de l?administration et de l?architecture de clusters Kafka.

Connaissance des composants Kafka : brokers, KRaft, Schema Registry et Kafka Connect.

Expérience des connecteurs Kafka, notamment JDBC et Debezium pour PostgreSQL.

Maîtrise des environnements Linux, notamment Red Hat.

Pratique des langages de scripting : Python, Shell et JSON.

Expérience en conception, déploiement, administration et optimisation de plateformes Kafka.

Compétences complémentaires appréciées : Kafka Strimzi.

Kubernetes et Ansible.

Connecteurs et outils d?intégration de données.

PostgreSQL.

Hadoop / Cloudera.

ETL Datastage.

Environnements de Data Streaming et écosystèmes Data.

Localisation : Gradignan (33) ? Paris ou Lyon possibles sous réserve d?une grande autonomie et de déplacements réguliers à Gradignan