RECHERCHE
Mesurer l'influence des données d'entraînement tout au long du pré-entraînement des LLM
Une nouvelle méthode évalue l'influence des exemples d'entraînement sans cible de validation, révélant une bascule littérature vers STEM au fil du pré-entraînement.
arXiv cs.AI · cs.LG · cs.CL·Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama·13 août 2026
Image · Source originale
Des chercheurs proposent une mesure d'influence des données de pré-entraînement qui ne nécessite pas de tâche ou de jeu de validation spécifique. Appliquée à 18 configurations des suites Pythia et PolyPythia, la méthode montre qu'en début d'entraînement les données littéraires influencent davantage la trajectoire vers les paramètres finaux, tandis que les données STEM prennent le dessus plus tard. Ce phénomène de bascule est cohérent entre les différentes configurations testées.
Chaleur 0
Pertinence 55
Nouveauté 65