Data Engineer H/F
Role details
Job location
Tech stack
Job description
Dans le cadre du lancement de notre nouveau projet Datahub V2, nous recherchons un/une Data Engineer pour assurer la phase de RUN et garantir la continuité opérationnelle. Vous rejoindrez une équipe d'experts ayant mené la construction de la solution et serez responsable de son maintien et de son évolution., Développer et optimiser des traitements distribués sur Spark pour garantir la performance du Datahub V2
Orchestrer des workflows batch avec Airflow, en intégrant les jobs nécessaires
Interroger et intégrer les données via SQL et Starburst (Trino)
Contribuer aux développements applicatifs en Java/Scala
Mettre en place et suivre les pipelines de déploiement dans un environnement DevOps
Superviser les activités grâce à la gestion des logs et la création de dashboards ELK
Veiller à la bonne utilisation des environnements Cloud et à la cohérence de l'architecture technique, Vous aurez l'opportunité de travailler sur des projets stratégiques au sein d'une institution bancaire de premier plan, en contribuant directement à l'amélioration de la qualité des services offerts aux utilisateurs et clients.
Si vous êtes passionné par le domaine de la data et souhaitez relever ce défi, nous vous invitons à postuler dès maintenant.
Requirements
Le poste ne requiert pas une expertise pointue, mais nous recherchons un professionnel solide et autonome, capable de prendre en main les composants existants, d'assurer leur stabilité et les faire évoluer de manière durable., Spark 3
SQL / Starburst (Trino)
Airflow (Astronomer) / Python
Java
Scala
ELK (Log as a Service)
Cloud (compréhension des environnements cloud hébergeant le Datahub V2)
DevOps (gestion des pipelines de déploiement via des templates existants)