Efficacité en calcul de l'OPD strong-to-weak face à GRPO : analyse comparative

L'étude compare l'OPD à reverse-KL et GRPO selon la difficulté, la taille du student et du teacher, le domaine et les choix d'optimisation. Avec un teacher externe post-entraîné, l'OPD est généralement moins efficace que GRPO par FLOP et allonge souvent les réponses. Avec comme teacher le propre checkpoint GRPO du student, l'OPD retrouve sa précision en maths avec 50 fois moins de FLOPs de distillation. La multi-teacher OPD consolide plusieurs experts GRPO par domaine en un seul student, pour un coût de distillation de 5,2 % sur 2 domaines.