Post training
Fellow suit ce sujet depuis juillet 2026 : 26 articles résumés en français, dont 8 jugés majeurs ou notables.
Toute l'actualité · 26 articles
Transformer l'évaluation par base de données en récompenses RL : post-entraîner des agents avec ThinkingBox
Microsoft et Hugging Face réutilisent les vérifications exécutables de ThinkingBox comme récompenses : sur Qwen3.8-27B, le succès moyen passe de 51,70 % à 60,78 % après 50 steps GRPO.
BeNice! : combler l'écart inférence-mémoire des modèles bouclés grâce au KV-sharing
Des chercheurs proposent une méthode en deux étapes, avec stochastic depth au pré-entraînement puis BeNice! en post-training, pour partager le KV-cache entre récurrences des architectures bouclées.
MLExpert : vers un modèle agentique généraliste pour l'ingénierie du machine learning autonome
Des chercheurs proposent une méthode de post-training pour l'optimisation autonome de projets de machine learning sur le long terme, appliquée à MLExpert, un modèle MoE de 35B paramètres.
Lab Notes : post-training de Nemotron 3.5 Super VL 120B-A12B pour l'usage d'ordinateur
H Company détaille sa recette de post-training (SFT, fusion de poids, RL) sur le modèle de vision de NVIDIA. Le checkpoint Holotron4-Super-Preview gagne 25,1 points sur OSWorld.
Une tâche, plusieurs interfaces : un entraînement à la cohérence inter-interfaces améliore la robustesse des agents LLM
Des chercheurs proposent CIPR, une régularisation qui impose à un agent LLM un comportement cohérent quand l'interface change, sans dégrader ses performances sur l'interface d'origine.
Hybrid Reasoning Agents : des agents alternant raisonnement latent et interaction textuelle
HybridAgents navigue dynamiquement entre raisonnement latent et texte au sein d'une même génération, avec un gain de 10,4 % et une réduction de 35,5 à 54,7 % des tokens sur 11 benchmarks.
Prédire la performance des agents de code post-entraînés à partir des modèles de base
Des chercheurs proposent trois métriques pour évaluer le potentiel d'un modèle de base avant un coûteux post-entraînement agentique, en analysant les trajectoires réussies plutôt que les tests de bout en bout.
Pivot-SD : une self-distillation efficace pour les modèles de langage à diffusion masquée
Une méthode cible uniquement les tokens-pivots les plus déterminants pour affiner les dLMs, avec un gain de performance à faible coût d'entraînement.
Le primitif manquant : diagnostiquer et réparer le raisonnement mathématique des LLM
Une étude identifie la découverte de primitifs mathématiques comme principal goulot d'étranglement du raisonnement des LLM, et propose une méthode de correction par auto-distillation.
PoEM : prédire les résultats de l'RL à partir de politiques existantes
Une nouvelle méthode permet d'estimer le résultat d'un post-entraînement RL sans relancer l'entraînement, en combinant les politiques de modèles déjà optimisés.
RSI, écart sino-américain et irrégularité des modèles : débat avec JS Denain d'Epoch AI
Nathan Lambert s'entretient avec JS Denain d'Epoch AI sur la RSI, le retard chinois en IA, la distillation et la sécurité des modèles ouverts face aux modèles fermés.
CUA-Universe : un environnement évolutif et dynamique pour agents hybrides GUI+CLI
Un pipeline transforme des logiciels de bureau réels en environnements hybrides pour entraîner des agents combinant interface graphique et ligne de commande.
Terminal-Universe : convertir les trajectoires d'agents en environnements terminaux scalables
Un framework transforme les historiques d'exécution d'agents en environnements reproductibles pour générer des tâches synthétiques et améliorer le post-training.
Allocation optimale du budget SFT-RL : de petits à grands LLM
Une méthode transposable détermine la répartition idéale des données SFT et RL sans recherche exhaustive.
Du trafic de production au post-entraînement : consolider une flotte de LLM auto-hébergés en un seul modèle
Une entreprise unifie 200+ applications internes sur un seul LLM en fusionnant des experts GRPO entraînés séparément via SLERP en deux étapes.
Le post-training des LLM vu comme de la maintenance logicielle « brownfield »
Une perspective industrielle sur l'ingénierie des données de post-training, entre budgets contraints et gains mesurables sur des benchmarks de code.
IAR : post-entraînement par étapes pour l'internalisation documentaire
Le cadre IAR permet aux LLM d'intégrer des connaissances documentaires sans RAG, via une méthode en trois étapes.
Jie Tang (Z.ai) : la fin des paramètres et lois de post-training
Le CEO de Z.ai explique pourquoi le nombre de paramètres ne suffit plus et présente GLM 5.3.
Rollplex : partage spatial de GPU entre phases pour le post-entraînement de modèles vision-langage
Un nouveau runtime accélère le RL post-training des VLM en chevauchant traitement de préfixe et décodage de rollout sur GPU.
MISA-T : ordonnancer les rollouts RL mixtes au-delà de la localité de préfixe
Une nouvelle politique d'admission au niveau routage optimise le partage du cache KV entre RLVR, RLHF et rollouts agentiques lors du post-training des LLM.
Manuel RLHF : aligner et post-trainer les LLM
Nathan Lambert publie un ouvrage de référence sur le post-training, couvrant RLHF, rejet sampling et reward models.
OPD-V : auto-distillation on-policy visuelle avec équilibrage des modalités
Une nouvelle méthode de post-entraînement corrige le déséquilibre texte-image dans les modèles multimodaux pour améliorer le raisonnement visuel.
Spoken Function Calling : une nouvelle approche de la compréhension du langage parlé pour les modèles audio-langage
Une méthode structurée pour dépasser les limites du SLU traditionnel, appliquée aux LLM et aux modèles audio-langage de grande taille.
Combler l'écart labo-magasin : un framework VLA pour robots humanoïdes en distribution
DEED optimise le post-entraînement de robots humanoïdes VLA pour un réapprovisionnement fiable en supermarché, avec un seul GPU.
TRACE : attribution de récompense au niveau des tours pour agents à long horizon
Une méthode d'apprentissage par renforcement affine le crédit accordé à chaque action d'un agent, sans critique additionnelle ni supervision coûteuse.
PeTeR : robustification post-entraînement des circuits probabilistes
Une méthode sans données pour renforcer des circuits probabilistes pré-entraînés face aux perturbations et aux changements de distribution.