ingénieur Big Data spécialisé sur l'environnement Hadoop / Cloudera
Role details
Job location
Tech stack
Job description
Dans le cadre du renforcement de ses équipes, la Direction Technique Informatique recherche un ingénieur Big Data spécialisé sur l'environnement Hadoop / Cloudera. La DSI accompagne le développement logiciel des entités fonctionnelles et s'appuie sur plusieurs pôles, dont l'équipe DBA & Socles, en charge des environnements techniques. Une plateforme Big Data basée sur Hadoop (Cloudera) est en place depuis 2018 afin de centraliser des données hétérogènes et permettre leur exploitation à grande échelle. Face à la montée des usages et des exigences, des évolutions techniques et une amélioration continue de la plateforme sont nécessaires. La mission s'inscrit dans un contexte combinant activités de RUN (exploitation) et de CHANGE (projets et amélioration continue).
Les principales missions seront :
- Assurer le maintien en condition opérationnelle des environnements Hadoop Cloudera en production et hors production
- Gérer les incidents, analyser les causes et mettre en place des actions correctives
- Améliorer la stabilité et la performance de la plateforme
- Réaliser des travaux de fiabilisation et de stabilisation des socles Hadoop
- Rédiger et maintenir les procédures d'exploitation et d'administration
- Participer à l'intégration avec les outils du SI (ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana)
- Mettre en oeuvre les principes de sécurité (outillage, gestion des accès, reporting)
- Apporter un support technique et un rôle d'expertise sur l'environnement Hadoop
Requirements
Le candidat justifie d'une expérience d'au moins 5 ans en environnement Big Data, avec une forte expertise sur Hadoop et Cloudera en contexte de production. Il maîtrise l'administration des composants Hadoop (HDFS, YARN, Hive, Spark, Impala), ainsi que les environnements Linux et les langages Python, Shell et SQL. Une expérience en exploitation (RUN) et en gestion d'incidents est indispensable, ainsi qu'une capacité à intervenir sur des sujets d'amélioration continue (CHANGE). Des compétences en supervision (Prometheus, Grafana), en sécurité Hadoop (Ranger, Knox) et en outils d'ordonnancement sont un plus. Le candidat fait preuve de rigueur, d'autonomie, d'un bon esprit d'analyse et d'un bon relationnel. Il est capable d'intervenir dans des environnements techniques complexes et de proposer des solutions d'amélioration., Esprit d'analyse
Benefits & conditions
Ticket restaurant
True
EducationalOccupationalCredential postgraduate degree