Data Engineer Scala/Spark sénior - CDI H/F

Prestation à temps plein de Data Engineer Senior Scala/Spark. Intervention en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’ops, architectes et encadrés par un chef de projet. Le projet concerne une migration technologique d’un décisionnel RH, avec une bascule technologique d’IBM vers Databricks., * Réaliser les livrables liés aux User Stories (US) dans un cadre agile, avec découpage par sprints de 2 semaines environ

• Développement des US et tests associés
• Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation
• Mise en place du CI/CD sur l’usine logicielle
• Mise en place du monitoring

Outils & Environnement

• Maîtrise de l’API Scala Spark (batch principalement)
• Maîtrise des techniques d’optimisation Spark
• Expérience dans le traitement de volumétries importantes / complexes
• Développement et bonnes pratiques Scala, build Maven
• Travail en environnement cloud (idéalement Azure) et écosystème Databricks, * Connaissance du SI d’une grande entreprise ferroviaire française

• Connaissance des outils Datadog, Rundeck, * Maîtrise de l’API Scala Spark (batch principalement)

• Maîtrise des techniques d’optimisation Spark

• Expérience dans le traitement de volumétries importantes / complexes

• Développement et bonnes pratiques Scala, build Maven

• Travail en environnement cloud (idéalement Azure) et écosystème Databricks

• Connaissance du SI SNCF (souhaitée)

• Connaissance des outils Datadog, Rundeck (souhaitée)