Expertise Spark Data
Role details
Job location
Tech stack
Job description
La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH.
Volumétrie cible : 350 bases de données
5 000 requêtes par seconde
1 To de données par an
Tâches à réaliser : Réalisation d?une analyse technique et d?un état des lieux de l?existant
Élaboration de recommandations d?amélioration : Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l?infrastructure
Recommandations sur le dimensionnement de l?infrastructure pour le traitement en temps réel
Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données
Rédaction d?un document d?architecture cible accompagné des préconisations associées, Déploiement Apache Spark sur Kubernetes
Réalisation d?une analyse technique et d?un état des lieux de l?existant
Élaboration de recommandations d?amélioration : Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l?infrastructure
Recommandations sur le dimensionnement de l?infrastructure pour le traitement en temps réel
Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données
Rédaction d?un document d?architecture cible accompagné des préconisations associées
Requirements
Apache Spark, MongoDB
Benefits & conditions
OVH Cloud, Kafka / Kafka Connect
