Notes personnelles : les LLM peuvent-ils tirer parti d'abstractions expérientielles ?

À partir de traces de résolution sur le jeu d'entraînement MATH, les chercheurs extraient des abstractions en langage naturel, via un modèle enseignant plus fort ou le LLM lui-même, stockées dans une bibliothèque consultable. Testées en récupération à l'inférence et en entraînement par RL, ces abstractions améliorent les performances en raisonnement mathématique et logique. Les abstractions auto-extraites égalent celles produites par un enseignant, et la méthode se transfère à d'autres jeux de données et modèles.