Data Engineer (H/F)
Role details
Job location
Tech stack
Job description
Les projets en cours sont variés et incluent :
-
L'optimisation des algorithmes de recommandation et segmentation ;
-
Le développement d'un Feature Store pour la gestion des données ;
-
La modernisation des flux financiers et des plateformes de contenu ;
-
La mise en place d'architectures Big Data traitant plus de 100 To de données par jour ;
-
Le partage d'informations clients avec des partenaires stratégiques., Intégré(e) à l'équipe DATA Delivery, vous interviendrez sur l'évolution et la maintenance des socles de données (Usage, VOD, Advertising, CRM...) et leur interconnexion avec divers partenaires. Vous travaillerez sur des architectures de Streaming Data full AWS et des technologies Big Data avancées. Vos responsabilités incluront notamment :
-
La conception et le développement de pipelines de données performants ;
-
Administrer, maintenir et optimiser la plateforme Informatica PowerCenter ( serveurs, repository, workflow, sessions…)
-
Concevoir, développer et documenter des workflows data pour alimenter le data warehouse et SI applicatifs
-
Concevoir, développer et documenter des workflows Lakehouse avec AWS, Airflow, DBT et Python
-
L'implémentation d'architectures de Streaming Data scalables et robustes ;
-
Le développement de traitements de données en temps réel avec Scala, Spark et Terraform ;
-
L'optimisation et la modernisation des flux de données dans un environnement Big Data ;
-
Former et assister les utilisateurs internes ( équipes data, développeurs, MOA …)
-
La mise en œuvre de bonnes pratiques en termes de qualité et de gouvernance des données ;
-
La collaboration avec les équipes Data, BI et Infra pour garantir la cohérence et la disponibilité des données.
Requirements
Environnement technique
- Cloud & Big Data : AWS (Lambda, EMR Serverless, Kinesis Stream, S3, Firehose, DynamoDB)
- Développement : Informatica, Scala, Spark, SQL, Terraform, Python
- CI/CD & Orchestration : GitLab CI/CD, Jenkins
- Méthodologies : Agile (Scrum, Kanban), Vous justifiez d'une expérience de 5 ans minimum dans un environnement similaire
-
Vous maîtrisez Informatica, AWS, Terraform, vous êtes fluent en Scala et Spark avancé et aimez les challenges
-
Vous etes experts dans le développement de solution d'intégration Big Data.
-
Vous parlez Anglais couramment -Vous connaissez et maîtrisez les outils JIRA et les méthodes « agiles » n'ont pas de secret pour vous !
-
Autonome, ouvert d'esprit et bon communiquant, vous disposez d'une grande curiosité scientifique