Analyste Red Teaming des modèles d'embeddings

Attentif à votre qualité de vie et conditions de travail, vous bénéficiez d’avantages :

• Télétravail possible selon le rythme de votre service, Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu’au suivi du risque de modèle de la banque. L’équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées.

L’objectif du stage est d’étudier et d’évaluer la robustesse des modèles d’embeddings utilisés dans les systèmes RAG et agentiques au travers d’exercices de red teaming. Le stagiaire contribuera à la définition d’un cadre méthodologique permettant d’identifier les vulnérabilités susceptibles d’affecter la qualité des informations récupérées et, in fine, les décisions prises par les systèmes d’IA.

Vous serez notamment amené à :

• Réaliser une revue de littérature sur les principales vulnérabilités des modèles d’embeddings et des systèmes de recherche vectorielle
• Prendre en main différents modèles d’embeddings open source, bases vectorielles et frameworks RAG afin de construire des environnements d’expérimentation représentatifs de cas d’usage métier
• Concevoir et implémenter des scénarios de red teaming visant à évaluer la robustesse des mécanismes de recherche et de récupération d’information ;
• Analyser l’impact d’attaques telles que l’empoisonnement de bases de connaissances, la manipulation des résultats de recherche, les attaques multilingues et les techniques d’évasion.
• Définir des métriques de résilience
• Évaluer les risques associés pour des cas d’usage bancaires
• Documenter l’étude et animer des ateliers interactifs pour présenter les avancements aux membres de l’équipe

Apports du stage

Vous acquerrez une vision spécifique en gestion du risque de modèle au sein des établissements bancaires, ainsi qu’une expérience significative dans le domaine de la data science. Vous mettrez en exergue vos qualités rédactionnelles et de présentation.

Compétences requises et qualités appréciées :

• De formation Bac + 4/5 - École d’Ingénieurs ou équivalent universitaire, vous avez de solides connaissances théoriques et opérationnelles en Machine Learning et en Deep Learning (e.g. étapes d’apprentissage d’un modèle)
• Vous justifiez de bonnes connaissances en Python
• Doté de qualités rédactionnelles, vous savez rédiger des notes synthétiques et présenter vos résultats sous format PowerPoint ou de Web apps. Autonome, rigoureux, curieux, vous êtes force de proposition
• Un fort esprit d’équipe, de l’enthousiasme et un bon relationnel vous permettront de vous insérer rapidement dans l’équipe

Durée du stage : 6 mois.

Date de début : 28/02/2027

• Prise en charge de 60% de votre titre de transport
• Billetterie à prix réduits de notre Comité d’Entreprise (concerts, cinéma, sport)
• Offre variée de restaurants d’entreprise et de cafétérias à tarifs compétitifs ainsi que des titres restaurants dématérialisés quand vous êtes en télétravail, Sachez que nos collaborateurs peuvent s’engager quelques jours par an pour des actions de solidarité sur leur temps de travail : parrainer des personnes en difficulté dans leur orientation ou leur insertion professionnelle, participer à l’éducation financière de jeunes en apprentissage ou encore partager leurs compétences avec une association. Les formats d’engagement sont multiples.