Théorie de l'optimisation de politique en post-training : effondrement de la couverture et réinitialisations de référence
Des chercheurs montrent que REINFORCE, base de PPO et GRPO, peut faire chuter la probabilité des réponses optimales, et proposent des resets de la référence KL pour y remédier.
Lu et jugé par Fellow · impact notable
Résultats théoriques consultables (141 pages) montrant un mode d'échec de REINFORCE/PPO/GRPO et une garantie de convergence via resets de référence KL ; avancée de fond, sans validation indépendante.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Transformer l'évaluation par base de données en récompenses RL : post-entraîner des agents avec ThinkingBoxHugging Face · 23 octobre 2026
- Une tâche, plusieurs interfaces : un entraînement à la cohérence inter-interfaces améliore la robustesse des agents LLM14 octobre 2026
- Deux horloges : pourquoi les gros batchs de rollouts apprennent plus lentement mais s'effondrent à date fixe en RLVR13 octobre 2026
- Quand et où faire confiance à l'enseignant : unifier distillation on-policy et GRPO via attribution de crédit calibrée par l'entropie23 septembre 2026
- Du trafic de production au post-entraînement : consolider une flotte de LLM auto-hébergés en un seul modèle1 septembre 2026
- SCAPO : une variante de GRPO pour réduire la sensibilité des LLM aux détails non pertinents du prompt30 septembre 2026