Au-delà de la vraisemblance du teacher : distillation on-policy calibrée par groupe pour le raisonnement long-contexte

Les auteurs montrent que la distillation on-policy classique perd en fiabilité sur les tâches à long contexte car le teacher favorise des réponses localement plausibles mais incomplètes. Ils proposent GC-OPD, qui calibre les récompenses du vérificateur et les scores du teacher par groupe pour capturer leur désaccord, puis redistribue ce signal au niveau des tokens. Sur cinq benchmarks long-contexte, la méthode améliore significativement les performances de Qwen3-4B et Qwen3-8B par rapport à l'OPD classique.