Doctorant en réseaux neuronaux ultra-basse précision pour la vision événementielle embarquée H/F

Cette thèse vise à concevoir une nouvelle génération de réseaux de neurones binarisés ou fortement quantifiés pour le traitement de données issues de caméras à événements sur plateformes embarquées. Contrairement aux caméras conventionnelles, les caméras événementielles produisent des flux asynchrones et parcimonieux décrivant les variations locales de luminance, offrant une latence minime robuste aux mouvements très rapides et une grande dynamique. Ces propriétés sont particulièrement adaptées à la robotique, aux drones, aux véhicules autonomes et aux systèmes de perception basse consommation.

L’objectif de la thèse est de dépasser l’approche consistant à convertir les événements en pseudo-images traitées par des réseaux classiques. Il s’agira de co-concevoir les représentations événementielles, les architectures neuronales ultra-basse précision, binarisés (BNN) ou quantifiés (QNN), les stratégies d’apprentissage et les contraintes de déploiement matériel. Les modèles étudiés combineront potentiellement couches binaires, quantification mixte, mémoire temporelle, récurrence légère, attention parcimonieuse, focalisation dynamique et inférence partielle.

Les contributions attendues pourront porter sur :

• l’étude des représentations événementielles compatibles avec la binarisation ;
• la conception de blocs BNN/QNN adaptés aux flux asynchrones ;
• le développement de méthodes d’entraînement robustes par distillation, quantization-aware training et apprentissage progressif ;
• l’évaluation conjointe en précision, latence, mémoire, énergie et robustesse ;
• la validation sur benchmarks publics et plateformes robotiques embarquées.

Les architectures proposées seront évaluées sur des jeux de données de référence en vision événementielle, notamment pour la classification, la reconnaissance de gestes, la détection d’objets, le suivi ou la perception robotique. Une attention particulière sera portée aux benchmarks réalistes comme Gen1 Automotive Detection, MVSEC ou DSEC, ainsi qu’à la comparaison avec des modèles événementiels récents non quantifiés.

Cette thèse contribuera ainsi à rapprocher la vision neuromorphique, l’apprentissage profond frugal et l’intelligence artificielle embarquée, avec pour ambition de produire des modèles capables d’exploiter la nature asynchrone des événements tout en respectant des contraintes strictes de temps réel et de consommation énergétique., Vision événementielle, neuromorphique, frugalité et edge AI

• Gallego, G. et al. Event-based Vision: A Survey, IEEE TPAMI, 2022.
• Zheng, X. et al. Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks, 2024.
• Rebecq, H. et al. Events-to-Video: Bringing Modern Computer Vision to Event Cameras, CVPR 2019.
• Gehrig, M., Scaramuzza, D. Recurrent Vision Transformers for Object Detection with Event Cameras, CVPR 2023.
• Peng, Y. et al. GET: Group Event Transformer for Ev Voir plus sur le site emploi.cnrs.fr…

Niveau d’études minimum requis

• Niveau Niveau 7 Master/diplômes équivalents
• Spécialisation Formations générales

Langues

• Français Seuil

CDD de 3 ans

• Expérience souhaitée Non renseigné
• Rémunération Fourchette indicative pour les contractuels 2300 € mensuel brut € brut/an Fourchette indicative pour les fonctionnaires Non renseignée
• Catégorie Catégorie A (cadre)
• Management Non renseigné
• Télétravail possible Non renseigné

Le Centre national de la recherche scientifique est un organisme public de recherche pluridisciplinaire placé sous la tutelle du ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation.

C’est l’une des plus importantes institutions publiques au monde : 33 000 femmes et hommes (dont plus de 16 000 chercheurs et plus de 16 000 ingénieurs et techniciens), en partenariat avec les universités et les grandes écoles, y font progresser les connaissances en explorant le vivant, la matière, l’Univers et le fonctionnement des sociétés humaines.

Depuis plus de 80 ans, le CNRS développe des recherches pluri et interdisciplinaires sur tout le territoire national, en Europe et à l’international. Le lien étroit entre ses missions de recherche et le transfert vers la société fait du CNRS un acteur clé de l’innovation en France et dans le monde.

Le partenariat qui lie le CNRS avec les entreprises est le socle de sa politique de valorisation et les start-ups issues de ses laboratoires témoignent du potentiel économique de ses travaux de recherche., Le Centre national de la recherche scientifique est l’une des plus importantes institutions publiques au monde : 34 000 femmes et hommes (plus de 1 000 laboratoires et 200 métiers), en partenariat avec les universités et les grandes écoles, y font progresser les connaissances en explorant le vivant, la matière, l’Univers et le fonctionnement des sociétés humaines. Depuis plus de 80 ans, y sont développées des recherches pluri et interdisciplinaires sur tout le territoire national, en Europe et à l’international. Le lien étroit que le CNRS tisse entre ses missions de recherche et le transfert vers la société fait de lui un acteur clé de l’innovation en France et dans le monde. Le partenariat qui le lie avec les entreprises est le socle de sa politique de valorisation et les start-ups issues de ses laboratoires (près de 100 chaque année) témoignent du potentiel économique de ses travaux de recherche.