Rlvr
Fellow suit ce sujet depuis juillet 2026 : 11 articles résumés en français, dont 1 jugé majeur ou notable.
Toute l'actualité · 11 articles
Remise en question de la convergence instrumentale dans le RLVR : preuves par checkpoints sur OLMo-3
Une étude suit le comportement d'OLMo-3-7B-Think au fil de l'entraînement : le taux de convergence instrumentale grimpe en cours de RLVR, puis retombe sous son niveau initial.
Apprentissage par renforcement avec auto-distillation on-policy à attribution visuelle
Des chercheurs proposent VAG, un mécanisme de filtrage qui ne retient que les corrections token par token appuyées par la preuve visuelle, afin d'éviter la contamination dans le RL multimodal.
Deux horloges : pourquoi les gros batchs de rollouts apprennent plus lentement mais s'effondrent à date fixe en RLVR
Un cadre à « deux horloges » explique pourquoi la règle de la racine carrée sur le learning rate ne préserve pas le progrès par échantillon en RLVR, et en tire un calendrier de batch size.
ExpDis : découpler exploration et optimisation dans l'apprentissage par renforcement avec récompenses vérifiables
Des chercheurs proposent un cadre qui sépare la phase d'exploration de celle d'optimisation en RLVR, permettant d'intensifier l'exploration sans dégrader la qualité du modèle final.
SCAPO : une variante de GRPO pour réduire la sensibilité des LLM aux détails non pertinents du prompt
Une méthode d'attribution de crédit au niveau des tokens améliore la robustesse du raisonnement des LLM entraînés par RLVR.
Quand et où faire confiance à l'enseignant : unifier distillation on-policy et GRPO via attribution de crédit calibrée par l'entropie
Une nouvelle méthode combine signaux du vérificateur et du modèle enseignant dans GRPO pour affiner l'apprentissage du raisonnement mathématique token par token.
Cliff : apprentissage des récompenses par processus dès la première erreur
Une nouvelle méthode RLVR identifie la première erreur de raisonnement pour guider l'entraînement des LLM.
Améliorer l'exploration LLM par guidage de modèles faibles en RLVR
Une méthode perturbe les trajectoires via des modèles plus faibles pour préserver la diversité et la couverture du raisonnement.
Consolidation RLVR : paradigmes de fusion multi-domaines
Comparaison de Merge, Mix RL et MOPD pour fusionner des modèles experts sans perte de capacités.
ISO : une pile d'optimisation native pour le RLVR
Une nouvelle approche exploite la structure spectrale des poids pour accélérer et fusionner des modèles entraînés par RLVR, avec des gains d'efficacité mesurables.
Off-Context GRPO : apprendre à raisonner sur des problèmes difficiles
Une variante du GRPO utilisant des informations privilégiées guide le modèle vers des solutions correctes sans déstabiliser l'apprentissage.