Doctorant CIFRE en intelligence artificielle (H/F)

USTS développe un projet d’IA souveraine, entièrement exécuté sur une infrastructure locale, pour permettre aux entreprises de garder le contrôle de leurs données et de leurs systèmes, tout en préservant la précision et la qualité des résultats.

La thèse s’intéresse aux systèmes fondés sur des modèles de langage capables d’accomplir des tâches séquentielles : exploiter des informations, interagir avec des outils, conserver des connaissances et adapter leurs actions aux résultats obtenus. Dans ce cadre, la réussite dépend de décisions prises à différents moments de l’exécution, dont les conséquences peuvent être différées.

Le choix d’une information à conserver influence les actions futures. Le choix d’un modèle détermine le coût et la qualité d’une étape. Une vérification peut éviter la propagation d’une erreur, mais consomme des ressources supplémentaires. La mémoire, les actions et l’utilisation des modèles constituent ainsi des composantes interdépendantes du processus de décision.

Le problème étudié sera celui de l’apprentissage de stratégies coordonnées pour ces composantes, dans un environnement où les informations évoluent et où le calcul disponible est limité.

Question scientifique et hypothèses

Comment apprendre conjointement des stratégies de mémoire, d’action et d’utilisation des modèles qui maintiennent la fiabilité des tâches séquentielles lorsque les informations évoluent et que les ressources de calcul sont limitées ?

Une hypothèse centrale est que l’apprentissage de ces stratégies à partir de la réussite des tâches complètes peut améliorer le compromis entre fiabilité et coût de calcul par rapport à des stratégies optimisées séparément.

Cette hypothèse conduit à plusieurs questions : comment estimer l’utilité future d’une information ? Comment attribuer un échec à une décision de mémoire, à une action ou au choix d’un modèle ? Comment répartir les ressources entre génération, recherche d’information et vérification ? Dans quelles conditions les stratégies apprises restent-elles efficaces sur de nouvelles tâches ?

Ces questions seront étudiées à travers des hypothèses explicites et des expériences permettant de les confirmer, de les réfuter ou d’en préciser les conditions de validité.

Programme de recherche

Les premiers travaux porteront sur la formalisation du système comme un problème de décision séquentielle, éventuellement partiellement observable. Il s’agira de définir les observations accessibles, les opérations de mémoire, les actions possibles et les contraintes de ressources. Cette formulation permettra d’étudier des objectifs d’apprentissage combinant réussite de la tâche, erreurs et coût d’exécution.

L’apprentissage de la mémoire

La recherche portera sur la sélection, la représentation, la mise à jour et la récupération des informations en fonction de leur utilité pour les décisions futures. Une attention particulière sera accordée aux informations corrigées ou devenues obsolètes, ainsi qu’aux conséquences différées des opérations de mémoire.

L’attribution des erreurs et l’apprentissage des décisions

Lorsque l’évaluation porte sur le résultat final, il peut être difficile d’identifier les décisions responsables d’un échec. Les travaux pourront étudier des signaux intermédiaires, des objectifs auxiliaires ou des méthodes d’attribution permettant d’améliorer l’apprentissage sans réduire l’évaluation à la qualité de chaque étape prise isolément.

L’allocation adaptative du calcul

Le système devra choisir quand mobiliser un modèle spécialisé, solliciter un modèle plus coûteux, rechercher une information ou vérifier un résultat. L’objectif sera d’apprendre ces choix en fonction de l’état de la tâche, de l’incertitude et des ressources restantes.

Ces volets contribueront à une même problématique. Leur articulation et leur priorité seront précisées à partir de l’état de l’art et des premiers résultats expérimentaux.

Recherche sur les modèles

Les modèles constituent le moteur du système étudié. La thèse comprendra donc des travaux sur les modèles génératifs, les modèles de décision et leurs modalités d’apprentissage.

Les recherches pourront porter sur la spécialisation de modèles locaux, la distillation de comportements ou la conception d’objectifs d’entraînement tenant compte de la réussite de trajectoires complètes. Elles examineront également la répartition des capacités entre un modèle unique et un ensemble de modèles coordonnés par une politique de routage.

L’enjeu sera de déterminer quelles capacités doivent être apprises dans les modèles et quelles décisions doivent être prises au cours de l’exécution. Les architectures seront comparées en intégrant le coût de leur coordination et les interactions entre spécialisation, mémoire et décision.

Évaluation et contributions attendues

L’évaluation reposera sur des tâches séquentielles permettant de faire varier la durée des trajectoires, l’évolution des informations, la disponibilité des outils et les budgets de calcul. Des comparaisons avec des méthodes de référence, des études d’ablation et des évaluations sur des tâches non utilisées pendant l’apprentissage permettront d’identifier l’origine des gains et leurs limites.

Les mesures porteront notamment sur la réussite des tâches, les erreurs critiques, la stabilité des résultats, la latence et les ressources consommées. Les expériences étudieront également la propagation des erreurs et la capacité du système à récupérer après une décision incorrecte.

Les applications métier serviront à confronter les méthodes aux conditions d’utilisation réelles. Pour un métier et un ensemble de tâches définis, l’objectif sera d’étudier dans quelles conditions un système local peut atteindre une qualité comparable ou proche de celle de solutions généralistes accessibles au public. Cet objectif sera évalué selon des critères et une marge d’écart définis à l’avance.

Les contributions attendues pourront comprendre une formulation du problème, des méthodes d’apprentissage originales et une caractérisation expérimentale de leurs propriétés, de leur capacité de généralisation et de leurs limites. Les résultats donneront lieu à des publications scientifiques et à des expérimentations reproductibles.

Vous êtes titulaire d’un master 2 ou d’un diplôme d’ingénieur en informatique, intelligence artificielle, mathématiques appliquées ou dans un domaine proche.

Vous avez de solides connaissances en machine learning et en modèles de langage, ainsi qu’une bonne maîtrise de Python et d’un framework d’apprentissage profond tel que PyTorch. Des connaissances en apprentissage par renforcement, en décision séquentielle, en statistiques ou en optimisation seront appréciées.

Vous souhaitez mener un travail de recherche et avez une appétence pour les solutions d’IA et l’ingénierie nécessaire à leur expérimentation. Vous savez formuler des hypothèses, concevoir des expériences et analyser leurs résultats.

Durée : 36 mois.

Lieu : La Réunion.

Début : à convenir avec le laboratoire d’accueil.

Rémunération : …

Moyens de calcul : serveurs équipés de plusieurs GPU., Financement envisagé : dispositif CIFRE., Rémunération : 26 000,00€ à 30 000,00€ par an

Projet de thèse CIFRE - Apprentissage de stratégies de mémoire et de décision pour des systèmes d’IA locaux

Mots-clés : Agentic systems, LLMs, persistent memory, sequential decision-making, reinforcement learning, model routing, model specialization, sovereign AI.