Expert Hadoop - Data Engineer - Cloudera Cdp Spark Kafka & Iac H/F

Dans le cadre de l’évolution et du maintien d’une infrastructure Big Data critique, nous recherchons un Expert Hadoop / Data Engineer afin d’accompagner l’administration, l’optimisation et la modernisation d’une plateforme Cloudera CDP.

La mission vise à garantir la disponibilité, la performance, la sécurité et la fiabilité des clusters Hadoop. Le consultant interviendra notamment sur les montées de version, les incidents techniques complexes, l’automatisation des déploiements et l’amélioration continue du socle Big Data.

Il travaillera en coordination avec les équipes internes et l’éditeur Cloudera, dans un environnement de production bancaire exigeant nécessitant une forte autonomie et une expertise technique approfondie., Administrer, maintenir et faire évoluer les clusters Hadoop reposant sur Cloudera CDP.

• Piloter les montées de version des composants Hadoop et sécuriser les changements associés : préparation, tests, rollback et mise en production.
• Diagnostiquer et résoudre les incidents techniques complexes, notamment dans le cadre de task forces.
• Automatiser les déploiements, le patching et les opérations d’exploitation avec Ansible, Terraform, Terragrunt et AWX.
• Garantir la disponibilité, la performance, la sécurité et le maintien en conditions opérationnelles de la plateforme Big Data.

Environnement technique :

• Plateforme Big Data : Hadoop, Cloudera CDP 7.1.9, administration de clusters, exploitation, upgrades

• Traitements distribués : Apache Spark, performance, optimisation des traitements, forte volumétrie

• Ingestion & streaming : Apache Kafka, Apache NiFi, flux de données, intégration

• Infrastructure as Code : Ansible, Terraform, Terragrunt, AWX, automatisation des déploiements et du patching

• Scripting & versioning : Shell, Git, GitHub, scripts d’exploitation

• Production & MCO : gestion des incidents complexes, task forces, changements, rollback, mises en production

• Performance & sécurité : disponibilité, fiabilité, optimisation, sécurisation des plateformes Big Data

• Documentation & gouvernance : documentation technique, suivi des évolutions, planning de production, coordination éditeur

Profil recherché Profil recherché :Expérience de 10 à 20 ans, avec une expertise confirmée en Data Engineering et en administration de plateformes Hadoop.Forte expérience sur des environnements Cloudera CDP, idéalement sur la version 7.1.9.Maîtrise approfondie de l’administration, de l’exploitation et de l’évolution de clusters Hadoop.Expertise sur Apache Spark, Apache Kafka et Apache NiFi.Expérience significative des montées de version de composants Hadoop et de la gestion des changements en environnement de production.Solides compétences en automatisation d’infrastructure avec Ansible, Terraform, Terragrunt et AWX.Maîtrise du scripting Shell et des outils de versioning Git / GitHub.Expérience des environnements de production critiques : incidents complexes, task forces, optimisation des performances, sécurité et maintien en conditions opérationnelles.Capacité à préparer et sécuriser les opérations de changement : tests, plans de rollback et mises en production.Capacité à collaborer avec les équipes internes et l’éditeur Cloudera.Autonomie complète sur la rédaction et le maintien de la documentation technique.Capacité à suivre les évolutions de la plateforme et le planning de production.Profil autonome, rigoureux et capable d’intervenir sur des problématiques techniques complexes.Anglais professionnel, parlé, lu et écrit., * Expérience de 10 à 20 ans, avec une expertise confirmée en Data Engineering et en administration de plateformes Hadoop.

• Forte expérience sur des environnements Cloudera CDP, idéalement sur la version 7.1.9.
• Maîtrise approfondie de l’administration, de l’exploitation et de l’évolution de clusters Hadoop.
• Expertise sur Apache Spark, Apache Kafka et Apache NiFi.
• Expérience significative des montées de version de composants Hadoop et de la gestion des changements en environnement de production.
• Solides compétences en automatisation d’infrastructure avec Ansible, Terraform, Terragrunt et AWX.
• Maîtrise du scripting Shell et des outils de versioning Git / GitHub.
• Expérience des environnements de production critiques : incidents complexes, task forces, optimisation des performances, sécurité et maintien en conditions opérationnelles.
• Capacité à préparer et sécuriser les opérations de changement : tests, plans de rollback et mises en production.
• Capacité à collaborer avec les équipes internes et l’éditeur Cloudera.
• Autonomie complète sur la rédaction et le maintien de la documentation technique.
• Capacité à suivre les évolutions de la plateforme et le planning de production.
• Profil autonome, rigoureux et capable d’intervenir sur des problématiques techniques complexes.
• Anglais professionnel, parlé, lu et écrit., Apache spark Ansible Cluster Anglais Hadoop Shell Git Création d’une base documentaire Gestion des changements Big data Optimisation des performances Rigueur et méthode Autonomie KAFKA Terraform Amélioration continue Scripting Logiciels de gestion de versions

Salaire : Budget : 70 à 80 K€ (selon profil et séniorité), EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree EducationalOccupationalCredential