Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : notable

Théorie de l'optimisation de politique en post-training : effondrement de la couverture et réinitialisations de référence

Des chercheurs montrent que REINFORCE, base de PPO et GRPO, peut faire chuter la probabilité des réponses optimales, et proposent des resets de la référence KL pour y remédier.

arXiv·Audrey Huang, Nan Jiang, Sham M. Kakade, Sadhika Malladi·10 novembre 2026

Lu et jugé par Fellow · impact notable

Résultats théoriques consultables (141 pages) montrant un mode d'échec de REINFORCE/PPO/GRPO et une garantie de convergence via resets de référence KL ; avancée de fond, sans validation indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Théorie de l'optimisation de politique en post-training : effondrement de la couverture et réinitialisations de référence
Image · Source originale
L'article étudie les fondements théoriques de l'optimisation de politique pour le post-training des modèles de langage et définit des algorithmes dits « coverage-preserving », dont le coût dépend de la couverture des réponses optimales par le modèle de base. Les auteurs montrent que REINFORCE peut réduire la probabilité des réponses optimales à presque zéro malgré une hausse de la récompense, même avec gradients exacts et régularisation KL. Ils proposent Approximate Policy Mirror Descent (APMD), qui réinitialise la référence KL sur la politique la plus récente et permet une convergence vers l'optimum global.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#post-training#reinforcement-learning#GRPO#PPO#théorie

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi