Laboratoire de Traitement et Communication de l'Information

Institut Polytechnique de Paris
Paris, France
3 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French

Job location

Paris, France

Tech stack

Artificial Intelligence
Algorithm Design
Information Theory

Job description

École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris Laboratoire de recherche : Laboratoire de Traitement et Communication de l'Information, Étant donné que le raisonnement peut être source de gaspillage, une question naturelle se pose : pour une précision donnée, existe-t-il une longueur de raisonnement optimale ? Des travaux antérieurs ont montré que les performances du LRM, en fonction de la longueur du raisonnement, augmentent progressivement, atteignent un pic, puis diminuent, ce qui suggère l'existence d'une longueur de raisonnement optimale [5, 10]. Bien qu'il existe une multitude d'approches visant à produire des CoT plus courts [2, 6, 7, 9, 11, 12], pour les tâches pratiques, aucune de ces méthodes ne détermine ni n'utilise le raisonnement de longueur optimale, qui offre pourtant la meilleure réduction possible de la longueur des CoT. En réalité, déterminer les longueurs optimales de CoT pour des ensembles de données pratiques est une tâche très complexe, car celles-ci dépendent entièrement de la tâche et du modèle. Cela nous amène à nous poser la question suivante : Pouvons-nous déterminer les longueurs de raisonnement optimales pour les LRM et les exploiter afin de concevoir des modèles plus rapides et plus efficaces ?

Objectifs Afin d'atteindre l'objectif principal ci-dessus, l'étudiant élaborera des cadres théoriques permettant de comprendre en profondeur le phénomène de la réflexion excessive et mettra à profit ces idées pour concevoir des modèles plus efficaces. Plus précisément, voici les étapes concrètes et les objectifs correspondants :

  1. Approche théorique pour comprendre la réflexion excessive.
  2. Détermination de la longueur optimale de la chaîne de raisonnement (CoT).
  3. Conception d'algorithmes efficaces.
  4. Déploiement robuste pour des ensembles de données et des modèles concrets.

AI Reasoning, AI, Efficient Inference, Chain-of-Thought

Requirements

Ce cours s'adresse aux étudiants désireux de s'attaquer à des problèmes ayant un impact concret grâce à une réflexion fondée sur des principeset des notions fondamentales. Une bonne maîtrise des processus d'apprentissage profond ainsi que des connaissances de base enprobabilité, en traitement du signal ou en théorie de l'information sont un atout (mais ne sont pas obligatoires). ","identifier":{"@type":"PropertyValue","name":"Doctorat_Gouv","value":"4fc2a89043f829c981b4d7b1fcd49841"},"url":"https://www.hellowork.com/fr-fr/emplois/76932792.html","datePosted":"2026-03-17T17:47:09Z","directApply":false,"employmentType":["TEMPORARY","FULL_TIME"],"experienceRequirements":"no requirements","hiringOrganization":{"@type":"Organization","name":"Doctorat_Gouv"},"industry":"Service public d'état","jobLocation":{"@type":"Place","address":{"@type":"PostalAddress","addressCountry":"FR","addressLocality":"Paris","addressRegion":"Île-de-France","postalCode":"75000"}},"occupationalCategory":"Mode","qualifications":"Ce cours s'adresse aux étudiants désireux de s'attaquer à des problèmes ayant un impact concret grâce à une réflexion fondée sur des principes et des notions fondamentales. Une bonne maîtrise des processus d'apprentissage profond ainsi que des connaissances de base en probabilité, en traitement du signal ou en théorie de l'information sont un atout (mais ne sont pas

About the company

{"@context":"https://schema.org","@type":"JobPosting","title":"Thèse Quand Cesser de Réfléchir des Modèles de Raisonnement Efficaces Lors de l'Inférence H/F","description":", L'avènement des grands modèles de raisonnement (LRM) s'est révélé être une étape cruciale pour permettre aux grands modèles linguistiques (LLM) de dépasser les performances humaines. Les LRM utilisent la puissance de calcul au moment du test pour « réfléchir » à un problème avant d'y répondre, une approche qui a conduit à des gains de performance significatifs dans de nombreuses tâches complexes [8]. Cependant, cette amélioration a un coût, car un LRM génère des milliers de tokens de réflexion supplémentaires pour résoudre un seul problème, par rapport à ses homologues sans capacité de raisonnement [3]. Pire encore, les LRM consacrent une partie importante de leurs tokens de raisonnement à revérifier leur travail et à explorer différentes solutions alors qu'ils ont déjà généré la réponse finale, sur laquelle ils finiront par s' accorder, bien plus tôt dans le CoT, un phénomène connu sous le nom de « overthinking » [1, 7]. Par exemple, pour résoudre un problème simple tel que « Combien font 2 + 3 ? », les modèles de type o-1 ont besoin de 1 953 % de jetons en plus que les modèles conventionnels pour parvenir à la même réponse [1]. Des travaux antérieurs ont montré que la longueur d'un CoT peut être réduite de 50 % ou plus en moyenne avec une perte de précision minime [4, 11, 13], démontrant ainsi l'ampleur du gaspillage de ressources de calcul lors de l'inférence LRM.

Apply for this position