Deux horloges : pourquoi les gros batchs de rollouts apprennent plus lentement mais s'effondrent à date fixe en RLVR

Les auteurs proposent un cadre à deux horloges séparant les échantillons nécessaires au progrès de ceux consommés avant l'effondrement. Sous un modèle quadratique local, la règle de la racine carrée préserve la dérive de premier ordre par échantillon mais pas le progrès, d'où un batch critique dépendant du learning rate. Des expériences GRPO sur Qwen2.5-Math-1.5B, sur une plage de batchs de 16×, confirment les prédictions, y compris sur un autre dataset et un modèle 7B. Un schéma en deux phases est proposé : démarrer sous le batch critique, puis passer à un batch plus grand avant l'échec. Le code est publié.