Aller au contenu
Édition du matin · N° 611 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : notable

L'échelle des données de pretraining inverse l'écart de fine-tuning entre Muon et AdamW

Au-delà d'un certain budget de données de pretraining, AdamW dépasse Muon après fine-tuning, et ce seuil baisse à mesure que la taille du modèle augmente, selon une nouvelle étude.

arXiv·Catherine Li, Jingchu Gai, Andrej Risteski, Jacob Mitchell Springer·2 novembre 2026

Lu et jugé par Fellow · impact notable

Résultat empirique et preuve théorique sur le choix de l'optimiseur : AdamW dépasse Muon après fine-tuning au-delà d'un budget de données, ce qui compte pour qui pré-entraîne avec Muon.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
L'échelle des données de pretraining inverse l'écart de fine-tuning entre Muon et AdamW
Image · Source originale
Muon accélère la minimisation de la loss de pretraining par rapport à AdamW, mais son avantage après fine-tuning était incertain. Les auteurs montrent qu'au-delà d'un budget de données suffisant, AdamW l'emporte après fine-tuning, et ce à des ratios tokens/paramètres plus faibles pour les gros modèles. Ils expliquent l'inversion par un ratio margin-to-spread, et prouvent dans une mémoire associative linéaire que la descente de gradient gagne du terrain sur Muon quand le budget de données croît.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#muon#adamw#optimiseur#fine-tuning#pretraining

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi