Data Engineer Spark Scala H/F
Role details
Job location
Tech stack
Job description
Vous êtes passionné(e) par la data, curieux(se) des technologies de pointe et motivé(e) par des projets complexes et innovants ?
Au sein de notre Business Unit Open Data & IA, vous interviendrez sur des missions à forte valeur ajoutée pour des clients Grands Comptes, dans un environnement hybride, agile et collaboratif.
Le bénéficiaire souhaite bénéficier d'une expertise en Data Engineer Scala/Spark/Snowflake pour la conception et le développement des pipelines performants, de contribuer à la migration Hadoop Snowflake, et d'intégrer les bonnes pratiques de développement au sein des Feature Teams du périmètre RPBI /RBS / DMP. Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. Dans ce cadre, la prestation consiste à contribuer à/au(x):
-
Développement et maintien des pipelines de données performants et robustes sur Snowflake et Snowpark.
-
Contribution active aux projets de migration des traitements Spark/Scala Hadoop vers Snowflake.
-
Appliquer et promouvoir les bonnes pratiques de développement (qualité, tests, performance, clean code).
-
Contribuer à la conception des flux, des modèles de données et des transformations.
-
S'assurer de la qualité, de la cohérence et de la maintenabilité des traitements livrés.
-
Maintenir des chaînes de traitements CI/CD fiables et industrielles. Expertises complémentaires
-
l'écosystème Hadoop / Cloudera.
-
des chaînes CI/CD et maîtrise de Git.
-
Environnement Agile (Scrum). Les livrables attendus sont :
Logiciel
Documentation
Skills: Spark, Scala
Requirements
Git