Data Engineer Spark Confirmé H/F

En tant que Data Engineer confirmé, vous serez responsable de la conception, du développement et de la mise en production de solutions data robustes. Vous travaillerez sur des architectures de données complexes, des pipelines streaming et batch, et participerez activement à l'automatisation des tests et au déploiement en environnements multi-niveaux. Vous accompagnerez également vos pairs dans l'adoption des bonnes pratiques de développement et contribuerez au transfert progressif du patrimoine applicatif historique vers les équipes propriétaires en cible.

Responsabilités :

• Concevoir et développer de nouvelles fonctionnalités data (user stories) selon les critères d'acceptation définis, en respectant les règles de gestion applicables
• Définir les architectures techniques des solutions de données en collaboration avec la squad
• Implémenter des pipelines Spark (streaming et batch) performants et scalables, en exploitant Kafka pour l'ingestion événementielle
• Développer et maintenir les API de données et les couches d'exposition (Hive, HBase, Phoenix)
• Automatiser les tests (JUnit, XRay) et appliquer les principes de software craftmanship pour garantir la qualité du code
• Assurer le déploiement régulier dans les différents environnements (GitLab CI/CD, Jenkins, Artifactory)
• Monitorer et garantir la stabilité en production à l'aide des outils de supervision (ELK, Grafana, SonarQube)
• Accompagner l'équipe dans l'amélioration continue des pratiques agiles et de la qualité du code
• Participer à la migration et au transfert progressif des produits existants vers les squads cibles

4 à 7 ans d'expérience en ingénierie data ou développement backend orienté data

• Maîtrise confirmée d'Apache Spark (streaming et batch) et de Scala ou Java
• Expérience solide avec Kafka pour l'ingestion et le traitement de flux de données
• Connaissance de la stack Hadoop Cloudera (HDFS, Hive, HBase, Phoenix)
• Pratique des outils DevOps et CI/CD (GitLab CI/CD, Jenkins, Artifactory, SonarQube)
• Maîtrise de l'automatisation des tests et des bonnes pratiques de qualité de code
• Expérience en environnement Agile/Scrum avec capacité à travailler en équipe pluridisciplinaire
• Rigueur, communication claire et esprit collaboratif affirmé
• Anglais technique lu et écrit (documentation, communication technique)

Fortement appréciés :

• Expérience avec ELK et Grafana pour la supervision et le monitoring des données
• Expertise en développement d'API REST et gestion des contrats d'interface data
• Familiarité avec les patterns de test avancés (TDD, BDD) et les outils de gestion de tests (XRay)
• Expérience dans le secteur financier ou dans des projets de donnée client à grande échelle
• Profil force de proposition avec forte pugnacité pour lever les obstacles techniques
• Intérêt marqué pour l'apprentissage continu et l'amélioration des pratiques d'équipe
• Expérience de mentorat ou d'accompagnement de développeurs juniors, Apache spark Anglais technique Scala Force de proposition ELK API SGBD Hadoop Grafana Git Test driven development (TDD) Hive JUnit Batching Jenkins Big data Scrum KAFKA SonarQube API REST Java, Monitoring

Télétravail : 3 jours par semaine sur site Localisation : Nantes

Rejoignez une squad data au sein d'un grand groupe du secteur financier, en charge de la construction d'une vision client 360 en temps réel. Vous contribuerez à la modernisation de l'écosystème data marketing et à l'évolution d'une stack big data ambitieuse (Spark, Kafka, Hadoop Cloudera) dans un environnement Agile structuré. Notre client, un acteur majeur du secteur bancaire, constitue une équipe de 12 personnes autour d'une Squad Profil Client 360 pilotée par un Product Owner et un Scrum Master. L'objectif : servir des usages digitaux avancés tout en assurant la modernisation continue du système d'information et le bon fonctionnement des produits existants. Vous évoluerez dans un cadre Scrum rigoureux, fondé sur les pratiques agiles et l'amélioration continue de la qualité.