Acquisition de connaissances en pré-entraînement : les vues auxiliaires améliorent l'apprentissage des LLM

Des chercheurs testent l'effet des « vues auxiliaires » (reformulations de connaissances) sur l'apprentissage des LLM. À budget de tokens fixe, remplacer de la répétition de documents par des reformulations améliore l'apprentissage, y compris pour le rappel factuel. Cet effet ne dépend pas de la puissance du modèle enseignant générant ces reformulations. L'étude propose aussi une analyse mécanistique via les biais couche par couche et la compression.