RECHERCHE
PAPIERVerdict : notableBPCO : une méthode stable pour entraîner des critics de LLM
BPCO stabilise l'entraînement des critics en RL, offrant une alternative fiable aux méthodes group-based comme GRPO.
arXiv·Penghui Qi, Xiangxin Zhou, Wee Sun Lee·24 août 2026
Lu et jugé par Fellow · impact notable
Recette d'entraînement de critic validée par expériences contrôlées, égalant/surpassant GRPO avec un seul échantillon, mais résultats limités au raisonnement mathématique.
Image · Source originale
Les méthodes de Reinforcement Learning par groupe comme GRPO évitent l'entraînement d'un critic, souvent instable. Ce papier propose BPCO (Best-Practice Critic Optimization), une recette combinant DPPO, bornes de valeur et estimation GAI adaptative. Les expériences montrent que BPCO surpasse les baselines groupées sur des tâches de raisonnement mathématique, avec un seul échantillon par prompt.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Transformer l'évaluation par base de données en récompenses RL : post-entraîner des agents avec ThinkingBoxHugging Face · 23 octobre 2026
- Environment Duels : un microcosme de la co-évolution des LLM21 octobre 2026
- Deux horloges : pourquoi les gros batchs de rollouts apprennent plus lentement mais s'effondrent à date fixe en RLVR13 octobre 2026
- ASTRIL-MPC : guidage par langage et MPC pour robots chenillés11 septembre 2026
- Bellman Policy Optimization : méthode de RL sans critique14 septembre 2026
- Des biais sociaux émergent chez les LLM via l'exploration adaptive8 septembre 2026