Doctorant F/H

The aim is to enhance and complement the use of remote sensing data archives via the combination of such data with textual and/or metadata information associated to the image scene or to the particular geographical area covered by the satellite data. To this purpose, research activities will be conducted on vision-language models tailored for the remote sensing field with a particular emphasis on the available CNES data archive.

PhD topic : Text/Metadata supervision for learning representations of satellite images.

Within satellite imagery, metadata such as ground sample distance, off-nadir viewing angle, time and location hold significant semantic information that improves scene understanding. Recent literature [Bourcier24] demonstrated that jointly combining remote sensing image data and their corresponding metadata allows to learn effectively representation capable to improve performances on downstream recognition tasks. In this project we propose to make a step further investigating how metadata can be used to learn large foundation models in the framework of the exploitation of large image archives of optical data. This task could leverage Pleiades (image and metadata) datasets.

In the frame of self-supervised learning, temporal contrastive learning is a simple way to construct a very high number of positive pairs. Another idea is to also leverage geographic metadata [Ayush21] in order to construct contrastive pairs, hence driving improved feature learning that will account for regional characteristics while foundation models are trained using data with a global coverage.

Large foundation models benefit from learning across multiple modalities and multiple tasks. Metadata may be used to address such situations by providing auxiliary labels (e.g., season, time of day, sensor name). The model can take metadata as an additional input (e.g., time + location embedding). Metadata can be directly combined with visual features in a cross-modal architecture (e.g., using vision transformers with tabular inputs).

Finally, models may generalize better across domains (sensor, location, season) by encoding domain-relevant metadata., Travail de thèse:

• recherche bibliographique
• proposition de méthodes et mise en oeuvre des choix effectués en accord avec la direction de la thèse
• tests et validation des résulatts avec les données fournies par le CNES
• dissémination des résultats par des publications
• participation à la vie de l’équipe (participation aux séminaires etc.)
• rédaction du mémoire de thèse et soutenance

Compétences techniques et niveau requis : Python, librairies d’apprentissage profond

Langues : français courant, anglais C1 au minimum.

Compétences relationnelles : excellent niveau en communication écrite et oral

Compétences additionnelles appréciées, * formation en sciences des données

• première expérience de la recherche en intelligence artificielle (6 à 18 mois)

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d’autorisations d’absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail 90 jours/an fixes ou flottants et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d’Inria)
• Accès à la formation professionnelle
• Participation Protection Sociale Complémentaire sous conditions, Les candidatures doivent être déposées en ligne sur le site Inria. Le traitement des candidatures adressées par d’autres canaux n’est pas garanti.

Sécurité défense : Ce poste est susceptible d’être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n°2011-1425 relatif à la protection du potentiel scientifique et technique de la nation (PPST). L’autorisation d’accès à une zone est délivrée par le chef d’établissement, après avis ministériel favorable, tel que défini dans l’arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l’annulation du recrutement.

Politique de recrutement : Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.

A propos du centre ou de la direction fonctionnelle

Le centre de recherche Inria de l’Université Grenoble Alpes regroupe un peu moins de 600 personnes réparties au sein de 27 équipes de recherche et 8 services support à la recherche.

Son effectif est distribué sur 3 campus à Grenoble, en lien étroit avec les laboratoires et les établissements de recherche et d’enseignement supérieur (Université Grenoble Alpes, CNRS, CEA, INRAE, …), mais aussi avec les acteurs économiques du territoire.

Présent dans les domaines du calcul et grands systèmes distribués, logiciels sûrs et systèmes embarqués, la modélisation de l’environnement à différentes échelles et la science des données et intelligence artificielle, le centre Inria de l’Université Grenoble Alpes participe au meilleur niveau à la vie scientifique internationale par les résultats obtenus et les collaborations tant en Europe que dans le reste du monde.

Contexte et atouts du poste

Cette thèse s’inscrit dans le cadre du défi INRIA-CNES Earth-FM (Enhancing Archival Remote sensing data for Training Holistic Foundation Models).

La thèse sera co-encadrée par Jocelyn Chanussot au Centre INRIA de l’Université Grenoble Alpes et par Josiane Zerubia au Centre Inria d’Université Côte d’Azur. Le travail s’effectuera principalement à Grenoble avec des missions à prévoir à Nice., Inria est l’institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l’interface d’autres disciplines. L’institut fait appel à de nombreux talents dans plus d’une quarantaine de métiers différents. 900 personnels d’appui à la recherche et à l’innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L’institut s’efforce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l’économie.