Aller au contenu
Édition du matin · N° 587 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

MuonGS : pré-entraîner des LLM avec un contrôle assoupli de la norme des poids

Des chercheurs analysent le contrôle de norme dans l'optimiseur Muon via le taux d'apprentissage effectif cumulé, et proposent MuonGS, qui projette par Gram-Schmidt sans fixer la norme des poids.

arXiv·Athanasios Glentis, Dawei Li, Mingyi Hong·27 octobre 2026

Lu et jugé par Fellow · impact léger

Optimiseur Muon variante avec garanties théoriques et gain d'environ 15 % en tokens équivalents, mesuré sur des modèles de 160M à 1B de paramètres ; portée limitée, sans réplication indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
MuonGS : pré-entraîner des LLM avec un contrôle assoupli de la norme des poids
Image · Source originale
L'étude analyse le contrôle de la norme des poids dans Muon à l'aide du taux d'apprentissage effectif cumulé C_T. Elle montre que Muon standard n'accumule que de façon logarithmique, tandis que MuonW et MuonH garantissent une accumulation au moins linéaire. MuonGS retire la composante radiale de chaque mise à jour par projection de Gram-Schmidt sans fixer la norme ; la norme croît au plus proportionnellement à √t, d'où C_T=Ω(√T).

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#optimiseur#muon#pretraining#weight-decay#LLM

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi