Doctorant en Intelligence Artificielle H/F
Role details
Job location
Tech stack
Job description
Une polyvalence des missions, un contact étroit avec les étudiants, une recherche appliquée et transdisciplinaire, une forte proximité avec les entreprises et une implication dans l'innovation pédagogique., Exploitation des modèles vision-langage pour l'analyse du comportement utilisateur dans un contexte inclusif
Mots clés : Vision par ordinateur, intelligence artificielle, analyse multimodale, inclusion., Les modèles vision-langage ont démontré leur capacité de description sémantique des contenus image et vidéo. Les avancées récentes permettent à ces modèles de résoudre des problèmes visuels complexes exigeant un raisonnement spatio-temporel. Elles permettent aussi de traiter une grande variété de tâches non entrainées spécifiquement (Zero-shot Learning). Malgré ces avancées techniques, il existe un écart critique entre le développement de ces modèles et leur application pratique et efficace dans le domaine spécifique de l'accessibilité. Dans le cadre d'un projet visant l'amélioration de l'accessibilité par l'usage de l'intelligence artificielle, nous proposons un projet de thèse visant à exploiter l'information visuelle spatio-temporelle pour analyser l'état et le comportement d'un utilisateur dans un contexte inclusif. Par la suite, les informations extraites serviront d'entrée pour l'optimisation de l'interaction des personnes fragilisées avec un système numérique. L'objectif est d'ouvrir un champ d'opportunités et d'applications pour améliorer l'autonomie des personnes handicapées. Ce projet de thèse sera porté par l'équipe FOX (CRIStAL, Université de Lille) et l'équipe CSM (JUNIA/FUPL). Les précédentes collaborations ont mis en lumière plusieurs nouveaux besoins, en particulier celui de l'optimisation des modèles pour les personnes à besoins spécifiques, ainsi que l'absence de données d'apprentissage et d'évaluation pour les phénomènes rares à forte criticité.
Le travail comprendra :
- Un état de l'art sur les avancées récentes relatives aux modèles génératifs vision-langage, avec un focus sur leur potentiel d'analyse et de compréhension des vidéos présentant des sujets humains.
- Collecte de données d'apprentissage et d'évaluation relatives au contexte inclusif, en collaboration avec les partenaires du projet. A défaut, un nouveau dataset sera créé et partagé.
- Proposition et évaluation d'approches d'analyse et de compréhension de l'état et du comportement des utilisateurs dans un contexte inclusif.
Requirements
- Profil recherché : Ingénieur ou Master en Informatique / IA / Data Science.
Benefits & conditions
- Contrat de doctorat à pourvoir à compter de janvier 2026 pour une durée de 3 ans (JUNIA, Quartier Vauban, Lille)
- Rémunération selon les grilles en vigueur.
- Equipe d'encadrement