Data scientist - SOC - N3

Kéoni Consulting
Canton of Toulouse-5, France
6 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
English, French

Job location

Canton of Toulouse-5, France

Tech stack

Computer Security
Python
Log Analysis
Open Source Technology
Reinforcement Learning
PyTorch
Large Language Models
Mitre Att&ck
HuggingFace
Machine Learning Operations

Job description

Fine-tuning de modèles : Adapter et spécialiser des LLM open-source (Llama, Mistral, Qwen...) sur des données de cybersécurité (logs, rapports CTI, playbooks).

Alignement et limitation des hallucinations : Mettre en ?uvre des techniques d'apprentissage par renforcement pour s'assurer que les modèles génèrent des réponses précises, sécurisées et sans biais/hallucinations (crucial pour le SOC).

Formatage et structuration des données : Définir et appliquer les meilleurs formats de prompt et de conversation pour l'entraînement.

Évaluation et Benchmarking : Mettre en place des pipelines d'évaluation rigoureux pour mesurer la performance des modèles spécialisés "Cyber" par rapport aux standards du marché.

Requirements

PROFIL RECHERCHÉ : EXPERTISE TECHNIQUE IA (Hard Skills)

Le/la candidat(e) doit impérativement maîtriser les technologies et concepts suivants :

A. Fine-Tuning de Modèles (PEFT)

Maîtrise avancée des techniques d'adaptation à faible rang : LoRA et QLoRA.

Pratique courante d'au moins un framework de fine-tuning rapide : Unsloth, Axolotl, ou TRL (Transformer Reinforcement Learning d'Hugging Face).

B. Structuration & Formatage de Données

Expertise dans l'utilisation des formats de templates de discussion, notamment ChatML et Alpaca, pour structurer les datasets d'entraînement textuels.

C. Alignement & Reinforcement Learning (Contrôle des Hallucinations)

Solide expérience dans l'optimisation des réponses (Constraint-based generation & Alignment) via les méthodes : DPO (Direct Preference Optimization), GRPO (Group Relative Policy Optimization) et PPO (Proximal Policy Optimization).

Maîtrise des frameworks d'alignement : TRL, verl ou OpenRLHF.

D. Évaluation & Validation (MMLU / Benchmarking)

Capacité à concevoir des protocoles d'évaluation rigoureux.

Utilisation de benchmarks standards (ex: MMLU, GSM8K) et mise en place de frameworks d'évaluation comparatifs internes (méthodologies de type Evaluation Arena / LMSYS, LLM-as-a-judge).

Compétences techniques

fine tuning model - Confirmé - Impératif

Structuration & Formatage de Données - Confirmé - Impératif

Alignement & Reinforcement Learning - Confirmé - Impératif

Évaluation & Validation (MMLU / Benchmarking) - Confirmé - Impératif

Connaissances linguistiques

Anglais Professionnel (Impératif)

Français Courant (Impératif)

SKILLS SECONDAIRES & APPRÉCIÉS (Nice to Have)

Sensibilité Cybersécurité : Expérience préalable ou fort intérêt pour les problématiques SOC (MITRE ATT&CK, analyse de logs, détection d'intrusions).

Stack MLOps : Connaissance de plateformes comme Hugging Face Hub, vLLM, Ollama ou Triton pour le déploiement et l'inférence optimisée.

Développement : Excellente maîtrise de Python et de PyTorch.

SOFT SKILLS

Rigueur scientifique : Rigueur absolue sur la qualité des données et la reproductibilité des benchmarks.

Communication : Capacité à vulgariser les concepts IA complexes auprès de profils purement cybersécurité (Analystes SOC, RSSI).

Autonomie : Capacité à délivrer dans un environnement R&D agile.

About the company

Objectif global : Développer IA au sein du SOC Au sein de notre SOC, nous intégrons des technologies d'Intelligence Artificielle Générative pour automatiser l'analyse de menaces, contextualiser les alertes de sécurité et assister nos analystes. Nous recherchons un(e) Expert(e) en IA spécialisé(e) dans l'entraînement, l'alignement et l'évaluation de Modèles de Langage (LLM/SLM) afin de concevoir des modèles souverains, ultra-spécialisés en cybersécurité.

Apply for this position