Aller au contenu
Édition de l'après-midi · N° 633 · prochaine à 22 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : notable

Transformers à un quadrillion de paramètres et comment les entraîner

Une nouvelle loi d'échelle prescrit, à données fixes, des modèles bien plus grands que Chinchilla : environ 7 000 fois plus de paramètres à 10^29 FLOPs sur 5T tokens.

qlabs.sh·repéré via Hacker News·3 novembre 2026

Lu et jugé par Fellow · impact notable

Loi d'échelle ajustée sur des runs réels, avec extrapolation à 16× le compute et hyperparamètres prescrits ; avancée de recherche réelle mais extrapolée et non répliquée de façon indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Les auteurs (Baron et al., 2026) montrent qu'à dataset fixe, la taille de modèle optimale continue de croître avec le compute, avec plus d'epochs et de membres d'ensemble. Extrapolée à 5T tokens, leur loi prescrit environ 7 000 fois le nombre de paramètres de Chinchilla à 10^29 FLOPs. Les modèles plus grands sur données répétées exigent un weight decay nettement plus élevé. Leur loi d'hyperparamètres reste proche de l'optimum à 16× le compute ajusté.

Traduit et résumé par IA à partir de l'article de qlabs.sh ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#scaling-laws#chinchilla#ensembling#weight-decay#transformers

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi