Data Engineer Java H/F

Rejoignez une mission stratégique au sein d’un environnement Big Data mature, où vous piloterez la conception et l’évolution de pipelines de données critiques pour un acteur majeur du secteur des télécommunications. Vous interviendrez sur l’ensemble du cycle de vie des données, de la collecte à la production, en traitant des volumes massifs (plusieurs téraoctets quotidiens) avec des fréquences variables et des exigences élevées de performance et de fiabilité.

Vous évoluerez dans un contexte technique riche, basé sur une architecture Hadoop et Spark distribuée, où vous serez responsable du développement et de la maintenance de flux streaming et batch complexes. Votre expertise Java vous permettra de concevoir des solutions robustes et performantes, tandis que votre compréhension des enjeux d’optimisation et de scalabilité sera un atout majeur pour assurer le bon fonctionnement des traitements en production.

La mission s’inscrit dans une démarche d’amélioration continue : vous travaillerez tant sur la stabilisation des architectures existantes que sur l’industrialisation des nouveaux indicateurs métier et la modernisation de la stack technique.

Responsabilités :

• Concevoir et développer des pipelines de données (streaming et batch) en Java et Spark, assurant la collecte, l’enrichissement et le stockage des données
• Industrialiser les KPIs métier développés en Python par les équipes métiers : analyse fonctionnelle, refactoring, optimisation des performances et déploiement
• Gérer et superviser le périmètre assigné, en assurant le bon fonctionnement et la fiabilité des flux en production
• Effectuer le suivi et la maintenance des pipelines, en mettant en place des mécanismes de monitoring et d’alerte
• Contribuer à la réduction de la dette technique : mises à jour de librairies, montées de version de Spark et frameworks associés, refactoring de code
• Optimiser les configurations et les performances des traitements de données à haut volume
• Collaborer avec les équipes métier et data science pour intégrer les évolutions fonctionnelles et technologiques

Maîtrise approfondie de Java (orientée objet, gestion des ressources, performances)

• Expérience confirmée en développement de pipelines de données (streaming et/ou batch)
• Connaissance solide de Spark et des principes du traitement distribué
• Compréhension de l’écosystème Hadoop et des architectures Big Data
• Capacité à analyser et optimiser les performances des traitements de données massifs
• Rigueur dans la conception, le code et la documentation
• Capacité à travailler en équipe et à communiquer efficacement sur des sujets techniques complexes

Fortement appréciés :

• Expérience antérieure de développeur applicatif transitant vers la Data Engineering
• Familiarité avec Python et sa réutilisation dans des contextes de production
• Connaissance des frameworks de streaming (Kafka, Flink ou équivalent)
• Expérience en monitoring et observabilité des pipelines (logs, métriques, alertes)
• Pratique de l’intégration continue et du déploiement automatisé
• Sensibilité aux enjeux de scalabilité et d’architecture distribuée
• Autonomie et capacité à anticiper les besoins de maintenance et d’amélioration technique, Python Autonomie KAFKA Java

Télétravail : 3 jours sur site Localisation : Nantes