Détection explicable et généralisable de deepfakes audio pour des applications forensiques à l'aide de modèles de fondation

EURECOM ouvre un poste de doctorat au sein du Département Sécurité numérique dans le domaine de la détection de deepfakes audio, de l’audio forensique et de l’intelligence artificielle explicable. Le poste s’inscrit dans le cadre du projet Horizon Europe DEFORM - Deepfake detection and Explainability using FOundation Representation Models - qui vise à développer des outils forensiques fiables, fondés sur l’IA, pour la détection, l’explication et l’interprétation de preuves audio, image et vidéo manipulées ou synthétiques.

La personne recrutée travaillera sur des méthodes explicables et généralisables pour détecter la parole synthétique ou manipulée dans des scénarios forensiques réalistes. Les détecteurs actuels de deepfakes audio obtiennent souvent de bonnes performances sur des benchmarks connus, mais restent vulnérables aux méthodes de synthèse vocale non vues, aux systèmes de conversion de voix, à la variabilité des codecs et des canaux, aux énoncés de courte durée, au bruit de fond et aux manipulations adversariales. En outre, la plupart des systèmes fonctionnent comme des boîtes noires et fournissent peu d’explications sur les raisons pour lesquelles un enregistrement est considéré comme authentique ou manipulé.

L’objectif de la thèse est de développer des méthodes de détection de deepfakes audio robustes, interprétables et adaptées aux exigences forensiques. La recherche portera sur l’utilisation de modèles audio auto-supervisés et de modèles de fondation, tels que WavLM, wav2vec 2.0, HuBERT, Whisper et des modèles multimodaux associés, combinés à des stratégies d’apprentissage few-shot, d’adaptation de domaine et d’augmentation de données, y compris adversariales. Un objectif central sera d’améliorer la généralisation à des attaques non vues et à des conditions acoustiques réalistes, tout en produisant des explications utiles et compréhensibles pour les praticiens forensiques.

Les travaux de thèse incluront les axes de recherche suivants :

• Développement de méthodes de détection de deepfakes audio robustes face à des techniques de synthèse vocale et de conversion de voix non vues ;
• Adaptation et fine-tuning de modèles audio de fondation pour la détection forensique de manipulations ;
• Stratégies d’apprentissage few-shot et à faible quantité de données pour une adaptation rapide à de nouvelles méthodes de génération de deepfakes ;
• Analyse de la robustesse dans des conditions réalistes, incluant la compression, les artefacts de transmission, le bruit de fond, la réverbération, les énoncés courts et les perturbations adversariales ;
• Méthodes d’IA explicable pour l’audio forensique, incluant la saillance temps-fréquence, la localisation d’artefacts, les explications de type SHAP et les raisonnements forensiques interprétables par l’humain ;
• Contribution à des benchmarks forensiques multimodaux et intégration possible dans le cadre plus large de DEFORM pour la détection de deepfakes audio, image et vidéo ;
• Évaluation des méthodes proposées au regard des exigences forensiques telles que la fiabilité, la traçabilité, l’interprétabilité et la reproductibilité.

La personne recrutée rejoindra les activités de recherche d’EURECOM en sécurité de la parole, sécurité biométrique, audio forensique et détection de deepfakes. Les travaux seront menés en étroite collaboration avec les partenaires académiques, industriels, forensiques et les autorités d’application de la loi impliqués dans le projet DEFORM. La personne doctorante contribuera à des publications scientifiques, à des benchmarks internationaux, à des résultats de recherche ouverts et aux livrables du projet., * La thèse sera encadrée au sein du Département Sécurité numérique.

• La personne recrutée participera aux activités scientifiques du projet DEFORM et collaborera avec des partenaires européens.
• Le poste implique la publication dans des conférences et revues internationales de premier plan en traitement de la parole, forensique multimédia, biométrie et sécurité de l’IA.

Niveau académique/diplôme :

• Master ou diplôme équivalent en informatique, génie électrique, traitement du signal, apprentissage automatique, intelligence artificielle, science des données ou domaine connexe.

Domaine/spécialité :

• Traitement de la parole, traitement du signal audio, apprentissage automatique, apprentissage profond, sécurité biométrique, forensique multimédia ou IA de confiance.

Technologies :

• Apprentissage profond pour l’audio et la parole ;
• Modèles auto-supervisés et modèles de fondation pour la parole/l’audio ;
• Détection de deepfakes audio, anti-spoofing ou vérification du locuteur ;
• IA explicable et interprétabilité des modèles ;
• Python et frameworks courants d’apprentissage automatique tels que PyTorch ;
• Une expérience avec des outils et jeux de données de parole/audio sera appréciée.

Langages/systèmes :

• Excellentes compétences en programmation Python, incluant une expérience avec les frameworks d’apprentissage profond et les outils de calcul pour DNN tels que PyTorch, TensorFlow, CUDA et les environnements d’entraînement sur GPU ;
• Bonne maîtrise des environnements de développement sous Linux ;
• Très bon niveau d’anglais écrit et oral.

Autres connaissances/spécialités :

• Solides capacités d’analyse et de résolution de problèmes ;
• Capacité à travailler de manière autonome et au sein d’une équipe de recherche internationale ;
• Intérêt pour la recherche appliquée ayant un impact sociétal, juridique et forensique ;
• Bonnes compétences en rédaction scientifique et en communication ;
• Une expérience préalable en traitement de la parole, tâches de type ASVspoof, détection de deepfakes audio ou IA explicable constituera un atout important., * Curriculum vitae détaillé ;
• Lettre de motivation décrivant le parcours de la personne candidate, ses intérêts de recherche et son adéquation avec le poste ;
• Relevés de notes de Licence/Bachelor et de Master ;
• Mémoire de Master, si disponible ;
• Liste des publications, le cas échéant ;
• Noms et coordonnées d’au moins deux références.

• Le poste est basé à EURECOM, Sophia Antipolis, France., Date d’embauche : Poste à pourvoir de suite Type de contrat de travail : CDD Doctoral de droit privé