Data Engineer Senior Big Data (H/F)
Role details
Job location
Tech stack
Job description
Objectifs principaux : Renforcer le 'Chapitre Data' sur des activités d'ingénierie en lien avec le projet stratégique, à forts enjeux business et transformation numérique.
Rôle au sein de l'équipe : Accompagner les différentes squads dans la conception et la réalisation de leurs cas d'usages data, tout en garantissant l'uniformité et la cohérence du modèle Data global.
Nous recherchons un(e) Data Engineer Senior pour intégrer notre Direction Data. Vous interviendrez sur la fabrication de nouvelles solutions à forte valeur ajoutée dans un environnement Cloudera. Un rôle de conseil et une forte appétence pour les enjeux métiers sont attendus pour ce poste.
Vos missions :
- Architecture & Conception : Participer à la définition de l'architecture Data en lien avec les architectes et la Squad.
- Développement de Pipelines : Affiner les User Stories (US), concevoir et développer des solutions de collecte et de stockage multi-sources (Batch et Temps Réel) via un framework interne basé sur Spark.
- Qualité & Tests : Mettre en œuvre les tests unitaires et automatisés pour garantir la robustesse du code.
- Déploiement & Ops : Déployer le produit dans les différents environnements et assurer le monitoring, le suivi de production et la gestion des incidents.
- Amélioration Continue : Accompagner l'évolution des pratiques de l'équipe (Qualité du code, Clean Code).
Requirements
- Langages : Spark (Streaming et Batch), SQL (requis) ; Scala, Kafka, Java, Shell (appréciés).
- Framework Big Data : Hadoop Cloudera (requis).
- Bases de données : SQL (Hive, Phoenix) et NoSQL (HBase, MongoDB).
- Méthodologies : Scrum (Cadre Agile entreprise)., * Expertise confirmée en Data Engineering dans des environnements Big Data complexes.
- Capacité à traduire des besoins métiers en solutions techniques performantes.
- Rigueur technique sur l'automatisation de l'ingestion et l'orchestration des flux.
- Posture de consultant interne : capacité à conseiller la Squad et le Product Owner sur les meilleures orientations techniques.
Atouts supplémentaires (optionnel) :
- Maîtrise de l'écosystème Kafka pour le temps réel.
- Expérience dans la mise en place de chaînes CI/CD appliquées à la Data.