Grpo
Fellow suit ce sujet depuis juin 2026 : 25 articles résumés en français, dont 8 jugés majeurs ou notables.
Toute l'actualité · 25 articles
Transformer l'évaluation par base de données en récompenses RL : post-entraîner des agents avec ThinkingBox
Microsoft et Hugging Face réutilisent les vérifications exécutables de ThinkingBox comme récompenses : sur Qwen3.8-27B, le succès moyen passe de 51,70 % à 60,78 % après 50 steps GRPO.
LongZero : renforcer le raisonnement long contexte des LLM à partir de zéro donnée
Des chercheurs proposent LongZero, une méthode où un LLM améliore seul son raisonnement sur contexte long, sans corpus externe ni modèle enseignant, via GRPO.
La « fuite de réflexion » dans l'apprentissage par renforcement des LLM
Une étude suggère que les gains du RL en mode NO-THINK sur les modèles hybrides comme Qwen3 viennent surtout d'une réactivation du mode THINK d'origine, plutôt que d'un raisonnement amélioré.
KnowGPO : optimisation de politique groupée par connaissances pour les agents de recherche
Ce framework de reinforcement learning aligne les trajectoires d'agents de recherche sur les connaissances acquises plutôt que sur les observations, et dépasse GRPO, GiGPO et IGPO de 3,8 à 4,2 points.
Co-évolution de l'action et de la prévision pour les agents de langage
Un nouvel entraînement par RL ajoute des cibles d'actions multi-étapes pour exploiter la supervision intermédiaire, sans surcoût à l'inférence, et améliore les performances sur cinq benchmarks d'agents.
Deux horloges : pourquoi les gros batchs de rollouts apprennent plus lentement mais s'effondrent à date fixe en RLVR
Un cadre à « deux horloges » explique pourquoi la règle de la racine carrée sur le learning rate ne préserve pas le progrès par échantillon en RLVR, et en tire un calendrier de batch size.
RECAST : un framework d'apprentissage pour router l'évidence via des opérations de calcul adaptatives
Des chercheurs proposent RECAST, un système qui apprend à construire l'évidence nécessaire par filtrage, agrégation et calcul sur plusieurs sources, plutôt que de se contenter de la récupérer.
SCAPO : une variante de GRPO pour réduire la sensibilité des LLM aux détails non pertinents du prompt
Une méthode d'attribution de crédit au niveau des tokens améliore la robustesse du raisonnement des LLM entraînés par RLVR.
Quand et où faire confiance à l'enseignant : unifier distillation on-policy et GRPO via attribution de crédit calibrée par l'entropie
Une nouvelle méthode combine signaux du vérificateur et du modèle enseignant dans GRPO pour affiner l'apprentissage du raisonnement mathématique token par token.
λ-Controlled GRPO : transformer l'instabilité du flow-matching en ressource budgetée
Une nouvelle méthode reformule l'instabilité inhérente aux modèles flow-matching comme une ressource mesurable et budgetée, surpassant les stabilisateurs ajustés à la main.
Async GRPO avec LoRA sur HF Jobs : bucket, proxy et sans NCCL
Optimiser l'entraînement distribué via Async GRPO et LoRA sur Hugging Face Jobs sans dépendre de NCCL.
Appels d'outils multi-étapes sur les API publiques ouvertes coréennes : benchmark et méthode de synthèse de données
Un nouveau benchmark et une méthode de synthèse par exécution permettent à un modèle open-source de 9B de rivaliser avec un 27B non affiné.
Fine-tuner un modèle de 350M pour de meilleures sorties structurées en 100 étapes GRPO
Hugging Face montre comment améliorer les sorties structurées d'un petit modèle via GRPO avec TRL, en seulement 100 étapes d'entraînement.
Cliff : apprentissage des récompenses par processus dès la première erreur
Une nouvelle méthode RLVR identifie la première erreur de raisonnement pour guider l'entraînement des LLM.
Du trafic de production au post-entraînement : consolider une flotte de LLM auto-hébergés en un seul modèle
Une entreprise unifie 200+ applications internes sur un seul LLM en fusionnant des experts GRPO entraînés séparément via SLERP en deux étapes.
BPCO : une méthode stable pour entraîner des critics de LLM
BPCO stabilise l'entraînement des critics en RL, offrant une alternative fiable aux méthodes group-based comme GRPO.
Apprentissage de l'allocation adaptative du calcul de test
Un modèle LLM apprend à sélectionner le niveau de raisonnement nécessaire par problème, réduisant le coût de calcul de 41%.
Prédictions financières par génération de tokens
FinATOM utilise la génération de tokens contrainte pour unifier prévisions de rendement et allocation d'actifs.
Video-DeepResearch : vers une nouvelle génération d'agents multimodaux de recherche approfondie
Un agent open-source combine analyse vidéo image par image et exploration web, dépassant Claude 4.5 Sonnet et GPT-5 sur un benchmark VQA complexe.
Show HN : expériences minimalistes de post-training LLM sur GPU 8 Go (SFT, DPO, GRPO)
Un projet open source propose des scripts légers pour tester SFT, DPO et GRPO sur du matériel grand public limité à 8 Go de VRAM.
Off-Context GRPO : apprendre à raisonner sur des problèmes difficiles
Une variante du GRPO utilisant des informations privilégiées guide le modèle vers des solutions correctes sans déstabiliser l'apprentissage.
OR Else : une région de confiance différentiable pour l'optimisation de politique
Une alternative lisse au clipping de PPO et GRPO testée sur Llama-3.2-1B pour le post-entraînement de LLM par RLHF.
Agon : apprentissage par renforcement compétitif inter-modèles pour le raisonnement
Deux modèles s'affrontent et se notent mutuellement pour améliorer leur raisonnement, sans étiquettes de processus ni reward model externe.
AdaPrefix-GRPO : contrôle adaptatif du préfixe pour maximiser le signal d'entraînement sur les problèmes difficiles
Une méthode de feedback adaptatif ajuste dynamiquement la longueur du préfixe de solution fourni au modèle, doublant la précision de GRPO sur les problèmes mathématiques difficiles.
VibeThinker : un modèle 3B surpasse Claude Opus 4.5 en raisonnement avec SFT+GRPO
Un modèle de 3 milliards de paramètres rivalise avec des géants via une combinaison inédite de fine-tuning supervisé et d'optimisation GRPO.