Mesurer l'influence des données d'entraînement tout au long du pré-entraînement des LLM

Des chercheurs proposent une mesure d'influence des données de pré-entraînement qui ne nécessite pas de tâche ou de jeu de validation spécifique. Appliquée à 18 configurations des suites Pythia et PolyPythia, la méthode montre qu'en début d'entraînement les données littéraires influencent davantage la trajectoire vers les paramètres finaux, tandis que les données STEM prennent le dessus plus tard. Ce phénomène de bascule est cohérent entre les différentes configurations testées.