Retrouver une supervision fiable par la distillation on-policy guidée par la critique

La distillation on-policy (OPD) suppose que le teacher peut atteindre une réponse correcte depuis n'importe quel préfixe écrit par l'étudiant. Les auteurs montrent que cette propriété, dite de recoverability, échoue sur les rollouts incorrects : le teacher suit les erreurs, bien qu'il les reconnaisse. CriticOPD fait critiquer le rollout par le teacher, puis l'étudiant réécrit sa solution. Testée sur deux étudiants Qwen3 et six benchmarks mathématiques, la méthode améliore l'OPD, surtout sur les problèmes de compétition.