Ingénieur*e LLMOps / AI Runtime

Dans ce cadre Inria contribue principalement sur les axes de l'analyse des risques systémiques dans le champ de la sécurité nationale et l'évaluation de la performance et de la fiabilité des modèles d'IA.

Ce travail se coordone stratégiquement avec le programme de recherche d'Évalluation de l'IA, porté par Inria et se materialise par la conception et le développement d'une plateforme d'évaluation de l'IA, en particulier des systèmes basés sur les LLM.

Cette plateforme vise à fournir un environnement intégré, sécurisé et robuste permettant de soutenir les projets de recherche du programme ainsi que de développer des applications d'évaluations, telles que des campagnes de benchmarks, des exercices de red teaming ... Elle s'appuie sur des outils open source de l'écosystème IA et des développements internes.

Vous rejoindrez une équipe dans une dynamique de développement rapide et itérative : la plateforme évoluera progressivement, avec des livrables opérationnels réguliers. Nous recherchons des profils capables de proposer, d'arbitrer et de transformer des besoins techniques en solutions opérationnelles.

Ce poste est au coeur de la proposition de valeur de la plateforme : garantir l'évaluation des applications LLM sensibles dans un environnement réaliste, maîtrisé et sécurisé. Il offre l'opportunité de participer à un projet stratégique et ambitieux, au cœur des enjeux actuels liés à la sécurité, à la transparence et à la gouvernance de l'IA, avec des dimensions techniques, scientifiques et sociétales.

Mission confiée

Concevoir, développer et opérer le gestionnaire d'environnements d'exécution permettant de déployer, versionner et reproduire des systèmes d'IA dans des contextes variés.

Principales activités

• Gérer le déploiement de systèmes basés sur des LLMs :

• moteurs d'inférence,
• pipelines RAG,
• agents avec outils externes.

• Concevoir et implémenter le système de définition des environnements (formats, configuration, versioning)
• Développer les mécanismes de build et de déploiement d'environnements (containers, images, dépendances)
• Assurer la reproductibilité des environnements d'exécution (gestion fine des dépendances, versions, configurations)
• Intégrer le gestionnaire d'environnements avec les workers et le système d'orchestration
• Permettre l'exécution dans différents contextes :

• local (développeur),
• cluster HPC (SLURM, OAR…),
• infrastructures cloud / Kubernetes.

• Optimiser les performances et les temps de déploiement des environnements
• Contribuer aux choix d'architecture technique liés à l'infrastructure et à la reproductibilité
• Documenter les environnements et les bonnes pratiques d'utilisation

• Expérience en déploiement de LLMs (vllm, SGLang, Triton, ..) et de systèmes complexes (RAG, agents, ...)
• Solide expérience en conteneurisation (Docker, Apptainer/Singularity)
• Expérience des environnements distribués ou exécution sur clusters
• Maîtrise de Python et de l'écosystème ML
• Bonnes pratiques de développement (versionnage Git, CI/CD, documentation)
• Capacité à rédiger une documentation technique, * Expérience avec des outils de MLOps (ClearML, MLFlow, Kubeflow, ...)
• Connaissance des environnements HPC (OAR, Slurm)
• Connaissance d'outils de packaging reproductible (Guix, Nix, ...)
• Sensibilité aux problématiques de performance, * Expérience dans la recherche académique
• Maîtrise de l'anglais technique oral et écrit
• Sensibilité aux enjeux de confiance et de sécurité de l'IA

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale, Sécurité défense : Ce poste est susceptible d'être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n°2011-1425 relatif à la protection du potentiel scientifique et technique de la nation (PPST). L'autorisation d'accès à une zone est délivrée par le chef d'établissement, après avis ministériel favorable, tel que défini dans l'arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l'annulation du recrutement.

Politique de recrutement : Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.

Contexte et atouts du poste Suite aux priorités établies en mai 2024 par la par la Déclaration de Séoul pour une IA sûre, novatrice et inclusive, dont la France est signataire, le gouvernement a decidé de créer l'INESIA, un institut qui a pour mission de fédérer, sans création de nouvelle structure juridique, les acteurs nationaux de l'évaluation et de la sécurité, et tout particulièrement : * l'Agence nationale de la sécurité des systèmes d'information (ANSSI), * le Laboratoire national de métrologie et d'essais (LNE), * le Pôle d'expertise de la régulation numérique (PEReN), * l'Institut national de recherche en sciences et technologies du numérique (Inria)., Inria est l'institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l'interface d'autres disciplines. L'institut fait appel à de nombreux talents dans plus d'une quarantaine de métiers différents. 900 personnels d'appui à la recherche et à l'innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'efforce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.