Améliorer l'exploration LLM par guidage de modèles faibles en RLVR

Cette étude introduit une méthode pour préserver la diversité générative des LLM lors de l'entraînement par RLVR. En utilisant des préfixes de raisonnement issus de modèles plus faibles, elle évite l'effondrement de l'entropie et améliore le pass@k. Les expériences sur des benchmarks mathématiques montrent une meilleure couverture du raisonnement sans SFT supplémentaire.