RECHERCHE
PAPIERCombien vaut un token d'IA ? Lois d'échelle pour le texte web généré par IA en conditions réelles
800 modèles entraînés révèlent que le texte IA dans les corpus web profite d'abord puis nuit à la qualité du pretraining, selon les volumes disponibles.
arXiv cs.AI · cs.LG · cs.CL·Jenna Russell, Ben Glickenhaus, Katherine Thai, John Wieting·30 septembre 2026
Lu et jugé par Fellow · impact notable
800 modèles entraînés mesurent empiriquement l'effet bénéfice/nuisance du texte IA sur le pretraining, résultat vérifiable et utile mais incrémental.
Image · Source originale
Les auteurs montrent que 27,5% à 31,1% des tokens web récents sont générés par IA (hors synthétique contrôlé). En faisant varier le ratio texte IA/humain sur 800 modèles pré-entraînés, ils constatent un effet bénéfique initial qui s'inverse en nuisance, un phénomène que les lois d'échelle classiques (Chinchilla) ne capturent pas. Ils proposent une nouvelle loi d'échelle avec termes de bénéfice et de nuisance séparés, plus précise de 41% pour prédire cet effet sur des modèles plus grands.
Chaleur 12
Pertinence 65
Nouveauté 78