Expert Big Data Hadoop (F/H)

L'équipe 'Socles Data' de la Direction Technique Informatique s'occupe de gérer les socles techniques DATA du système d'information de l'Organisation. Ceux-ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données, de Data science, etc. Les missions de l'équipe se traduisent par la fourniture d'outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d'architecture, de normes et bonnes pratiques, la réalisation d'études, la recherche et la qualification de nouveaux outils, mais également l'administration et le maintien en conditions opérationnelles des socles DATA., * Assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod.

• Participer aux projets d'évolution technique des socles Hadoop.
• Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances.
• Capacity planning : suivi et mise en place d'outils et procédures.
• Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques.
• Rédaction de procédures d'administration et d'exploitation.
• Intégration avec l'outillage de l'écosystème DSI de l'organisation pour l'exploitation du SI.
• Support expertise aux équipes Études et exploitation.
• Projets d'évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l'existant, évolution des fonctionnalités techniques ou fonctionnelles) : pilotage, définition d'architecture, rédaction des dossiers, mise en œuvre.
• Participation à des astreintes ou interventions ponctuelles en heures non ouvrées (HNO).

Environnement technique - technologique

Environnement Socle Hadoop :

• Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg...
• Langages de scripting et de développement : Shell, Python, Spark
• Moteurs de requêtage : Hive, Impala, SQL
• Système d'exploitation : Linux Redhat

Environnement Décisionnel :

• Teradata, ETL Datastage, PowerBI, SAS

Autres environnements techniques :

• Base de données : PostgreSQL
• Data Streaming : Kafka, IBM Infosphere CdC
• Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware
• Exploitation : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana

Livrables attendus & Délais associés

• Reporting hebdomadaire
• Tableau de bord mensuel de suivi d'activités
• Documentations techniques : normes, principes, dossier d'architecture, dossier d'administration, dossier d'exploitation, modes opératoires (au cours de la prestation)
• Transferts de connaissances : organisation de sessions et rédaction de supports (au cours de la prestation)
• Gestion des demandes : tickets incidents / demandes / changements dûment complétés (au cours de la prestation)
• Contribution à la continuité de services au sein de l'équipe (au cours de la prestation)

• Maîtrise de la distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, Iceberg

• Compétences en langages de scripting et de développement : Shell, Python, Spark

• Expérience avec les moteurs de requêtage : Hive, Impala, SQL

• Connaissances en infrastructure et système d'exploitation : Linux, Kubernetes, Ansible

• Connaissance des outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming

• Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu

• Communication et capacités relationnelles : sens de l'écoute et du dialogue, conduite de réunion, négociation

• Autonomie

• Capacité à travailler en équipe

• Esprit d'analyse et de synthèse

Durée et localisation

• Durée globale du besoin : 24 à 30 mois