Job offer

L'optimisation des réseaux de neurones peut se mettre en œuvre à l'aide de diverses méthodes, notamment à l'aide de techniques de compression. La compression des matrices de poids est majoritairement utilisée, mais peu de travaux se concentrent sur l'utilisation de décompositions tensorielles.

L'utilisation des décompositions tensorielles pour compresser les réseaux de neurones nécessite de modéliser un réseau sous forme d'un ou plusieurs tenseurs, de choisir une décomposition adaptée pour minimiser la perte d'efficacité du réseau, et de ré-exprimer les opérations du réseau d'origine dans l'espace compressé produit par la décomposition.

La thèse proposera d'investiguer le potentiel des tenseurs et des décompositions tensorielles pour compresser les réseaux de neurones afin d'optimiser la phase d'inférence.

L'objectif sera de modéliser les réseaux de neurones sous la forme de tenseurs, de sélectionner une décomposition tensorielle adaptée au réseau puis de ré-exprimer au maximum les opérations du réseau dans l'espace compressé afin de maximiser le gain en terme de temps d'exécution et de consommation mémoire lors de la phase d'inférence.

Neural networks optimization can rely on different methods, including compression techniques. Weight matrices compression is mainly used in this context, and few works focus on tensor decompositions.

Using tensor decomposition to compress neural networks require to model a network as one or several tensors, to choose an adapted tensor decomposition to minimize efficiency loss of the network, and to formulate original network's operations in the compressed space produced by the decomposition.

This thesis aims at investigating the potential of tensors and tensor decompositions to compress neural networks in order to optimize inference.

The objectives are to model neural networks as tensors, to select an adapted tensor decomposition depending on the network characteristics, and to formulate network operations in the compressed space in order to reduce execution time and memory consumption during inference., Le ou la candidat(e) devra posséder une solide formation en informatique, mathématiques appliquées. Une bonne maîtrise de l'algorithmique, des langages de programmation, de l'algèbre linéaire, du machine learning et deep learning est attendue. Des compétences en programmation scientifique, notamment en C et Python, seront attendues, ainsi qu'une capacité à conduire un travail mêlant théorie, développement algorithmique et validation expérimentale.The candidate must have a strong background in computer science or applied mathematics. Proficiency in algorithmic, programming languages, linear algebra, machine and deep learning is expected. Skills in scientific programming, especially with C and Python, are expected, along with the ability to carry out work combining theory, algorithmic development and experimental validation.

Décompositions tensorielles pour l'optimisation de réseaux de neurones // Tensor decompositions for optimizing neural networks, Financement d'un établissement public Français