Data Engineer Senior Big Data / Spark - Cloudera (H/F)

Participer à la définition de l’architecture Data en lien avec les architectes et l’équipe projet.

Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées.

Concevoir et développer des pipelines Data et des traitements ETL.

Développer des solutions d’ingestion, de stockage et de transformation de données provenant de multiples sources.

Automatiser et orchestrer les flux de données batch et streaming.

Mettre en place les tests unitaires et automatisés.

Déployer les solutions sur les différents environnements.

Assurer le support de production, le suivi des incidents et l’amélioration continue des performances.

Contribuer à l’amélioration des bonnes pratiques de développement et de qualité de code.

Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum, Minimum 5 ans d’expérience en Data Engineering. Excellente maîtrise de Spark (batch et streaming). Solides compétences SQL. Bonne connaissance des environnements Hadoop/Cloudera. Expérience des architectures Big Data et des problématiques d’ingestion de données. Connaissance des outils DevOps et de monitoring.

Sensibilité aux enjeux de gouvernance de la donnée : RGPD Data lineage Catalogage des données

Contexte de la mission Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d’une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs.