Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
Verdict : léger

Approximate Muon avec adaptateurs low-rank

Le sMuon étend l'optimiseur Muon au fine-tuning efficace pour améliorer les performances LoRA.

arXiv·Ben Anson, Conor Houghton, Edward Milsom·14 août 2026

Lu et jugé par Fellow · impact léger

Nouvelle méthode d'optimisation pour le fine-tuning avec gains modérés et code disponible.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Approximate Muon avec adaptateurs low-rank
Image · Source originale
L'optimiseur Muon peine à s'appliquer au PEFT comme LoRA. Les auteurs proposent sMuon, une approximation low-rick via linéarisation et moindres carrés. Cette méthode, n'utilisant que des matmul, surpasse les approches classiques en SFT et prétraining ReLoRA.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#optimization#lora#fine-tuning#peft#muon

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi