DATA ENGINEER SPARK / SCALA / PYSPARK / DATABRICKS / AZURE
Role details
Job location
Tech stack
Job description
Participer au développement des User Stories (US) et réalisation des tests associés.
Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.
Mettre en place et maintenir le CI/CD sur l?usine logicielle.
Assurer la mise en place du monitoring.
Collaborer étroitement avec l?équipe projet ; pas de responsabilité de production individuelle.
Travailler dans un environnement agile avec priorisation et gestion multi-projets.
Requirements
Maîtrise de Scala et Spark (batch principalement).
Optimisation des jobs Spark et traitement de volumétries importantes / complexes.
Bonnes pratiques de développement Scala et build Maven.
Expérience en environnement cloud, idéalement Azure.
Compétences techniques appréciées : Écosystème Databricks
Azure Functions et Azure Data Factory
Monitoring sous Datadog
Déploiement avec Ansible
Compétences transverses : Aisance relationnelle et esprit d?équipe
Autonomie, rigueur et esprit d?analyse
Capacité de synthèse et force de proposition
Sens des priorités et respect des délais
Appétence client et compréhension métier / fonctionnelle
Mentoring et partage de connaissances, Profil confirmé ou senior (4 à 10 ans XP)
Expérience et formation : Bac+3 à Bac+5 en informatique
Minimum 5 ans d?expérience en tant que Data Engineer
Bon niveau d?anglais technique