Post-Doctorant F/H

Ce projet propose un nouveau paradigme : l'optimisation fractale, une stratégie de recherche multi-résolution et auto-similaire inspirée de la géométrie fractale, permettant une exploration structurée des espaces de paramètres à différentes échelles.

Mission confiée

Ce projet postdoctoral vise à :

• Développer des algorithmes d'optimisation bayésienne fractale à grande échelle

• Intégrer des dynamiques de recherche fractale dans l'optimisation bayésienne (BO)

• Développer des modèles de substitution fractals pour les fonctions d'acquisition

• Améliorer le compromis exploration-exploitation dans des problèmes BO de grande dimension

• Appliquer ces méthodes à l'élagage et au fine-tuning des LLMs

• Utiliser l'optimisation bayésienne fractale pour la parcimonisation structurée (pruning) des réseaux de transformeurs

• Optimiser des stratégies de fine-tuning efficaces en nombre de paramètres (par ex. adaptations de type LoRA)

• Réduire les coûts de calcul tout en préservant les performances sur les tâches aval

• Permettre une implémentation parallèle

• Adapter les algorithmes d'optimisation fractale à des architectures parallèles

• Concevoir des variantes asynchrones et efficaces en communication pour GPUs, L'approche combine développement théorique, conception algorithmique et ingénierie système :

• Noyau d'optimisation fractale : introduction d'opérateurs d'optimisation récursifs alternant entre exploration globale grossière et raffinement local fin, formant une hiérarchie fractale des étapes de recherche

• Extension bayésienne : intégration des dynamiques fractales dans des modèles de substitution (processus gaussiens ou ensembles profonds), permettant une optimisation multi-échelle tenant compte de l'incertitude

• Intégration aux LLMs : application aux architectures de transformeurs pour l'élagage structuré (têtes d'attention, blocs MLP) et le fine-tuning efficace en paramètres

• Déploiement parallèle : implémentation via des frameworks distribués (MPI + communication Kokkos), optimisée pour des systèmes parallèle avec synchronisation asynchrone des paramètres

Compétences techniques et niveau requis : machine learning, IA, calcul parallèle, optimisation Bayésienne

Langues : anglais, * Travail d'équipe

• Autonomie

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale, Sécurité défense : Ce poste est susceptible d'être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n°2011-1425 relatif à la protection du potentiel scientifique et technique de la nation (PPST). L'autorisation d'accès à une zone est délivrée par le chef d'établissement, après avis ministériel favorable, tel que défini dans l'arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l'annulation du recrutement.

Politique de recrutement : Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.

Contacts

• Équipe Inria : BONUS

A propos du centre ou de la direction fonctionnelle Créé en 2008, le centre Inria de l'Université de Lille emploie 360 personnes, dont 305 scientifiques répartis dans 16 équipes de recherche. Reconnu pour son implication forte dans le développement socio-économique de la région Hauts-De-France, le centre Inria de l'Université de Lille entretient des relations étroites avec les grandes entreprises et les PME. En favorisant les synergies entre les chercheurs et l'industrie, Inria contribue au transfert de compétences et d'expertise dans le domaine des technologies numériques, et donne accès au meilleur de la recherche européenne et internationale au profit de l'innovation et des entreprises, en particulier dans la région. Depuis plus de 10 ans, le centre Inria de l'Université de Lille est au cœur de l'écosystème universitaire et scientifique lillois, ainsi qu'au cœur de la Frenchtech, avec un showroom technologique situé avenue de Bretagne à Lille, sur le site d'excellence économique EuraTechnologies dédié aux technologies de l'information et de la communication (TIC). Contexte et atouts du poste La montée en échelle rapide des grands modèles de langage (LLMs) a créé un goulot d'étranglement computationnel fondamental : l'élagage (pruning) et le fine-tuning nécessitent des optimisations sur des problèmes coûteux et de haute dimension. Les algorithmes d'optimisation existants peinent à explorer efficacement ces espaces de recherche., Inria est l'institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l'interface d'autres disciplines. L'institut fait appel à de nombreux talents dans plus d'une quarantaine de métiers différents. 900 personnels d'appui à la recherche et à l'innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'efforce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.