Relier la capacité de découverte scientifique des LLMs à leurs données d'entraînement

L'étude aborde la capacité de découverte des LLMs sous l'angle de la masse de probabilité manquante, avec un cadre théorique où les monofacts (faits observés une seule fois à l'entraînement) fixent cette capacité. En science des matériaux et en génomique régulatrice, la manipulation des taux de monofacts montre que davantage de monofacts produit davantage de découvertes, sur deux familles de modèles open-weights. L'effet ne s'explique pas par la seule diversité des données et peut se transférer d'un domaine à l'autre avec des données du domaine visé.