RECHERCHE

notable

Le progrès en pré-entraînement vient surtout des données

Une étude compare recettes de modèles et corpus de données de 2019 à 2025 pour isoler la source réelle des gains de performance en pré-entraînement.

Dwarkesh Patel·Dwarkesh Patel·8 septembre 2026

Lu et jugé par Fellow · impact notable

Une étude empirique quantifie (x3,2) le gain d'efficacité des données vs modèles sur 6 ans, avec protocole et résultats.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le progrès en pré-entraînement vient surtout des données

Image · Source originale

Des chercheurs entraînent des combinaisons de recettes de modèles et de corpus de données représentatifs de chaque année entre 2019 et 2025, à différentes échelles de calcul jusqu'à 1e19 FLOPs. L'évaluation se fait sur les capacités finales via OLMES plutôt que sur la perte d'entraînement, car les jeux de données diffèrent. Résultat : l'amélioration des données expliquerait une part largement supérieure des gains d'efficacité de calcul comparée aux avancées algorithmiques sur les modèles.

Traduit et résumé par IA à partir de l'article de Dwarkesh Patel ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗

#pretraining #scaling laws#données#efficacité #benchmarks

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

Le progrès en pré-entraînement vient surtout des données

Lu et jugé par Fellow · impact notable

Une question sur cet article ?

À lire aussi