Que s'améliore-t-il pendant le pretraining ? Suivre l'acquisition de connaissances avec des modèles point-in-time

Les auteurs proposent le temporal variability score (TVS), coefficient de variation de la log-vraisemblance négative d'un item entre des modèles point-in-time entraînés sur des snapshots web de différentes années. Testé sur six benchmarks et six modèles open-source, les items à TVS élevé progressent plus vite en fin de pretraining et surpassent ceux à TVS faible dans 34 des 36 configurations, avec 7,3 points d'avantage en moyenne en précision normalisée. L'effet est le plus net sur les tâches riches en connaissances.