Repenser la régularisation par divergence dans le RL pour les LLM

Les méthodes courantes de RL post-entraînement (PPO, GRPO) s'appuient sur un mécanisme de clipping du ratio d'importance, imparfait face aux vocabulaires à longue traîne. DPPO avait introduit un masque dur basé sur la divergence, mais écarte les gradients plutôt que de les corriger. DRPO propose un régularisateur quadratique pondéré par l'avantage, offrant des gradients continus et bornés qui atténuent les mises à jour divergentes tout en conservant la géométrie de la région de confiance. Les expériences montrent des gains de stabilité et d'efficacité sur plusieurs architectures et échelles.