RECHERCHE
Approximate Muon avec adaptateurs low-rank
Le sMuon étend l'optimiseur Muon au fine-tuning efficace pour améliorer les performances LoRA.
arXiv cs.AI · cs.LG · cs.CL·Ben Anson, Conor Houghton, Edward Milsom·14 août 2026
Lu et jugé par Fellow · impact léger
Nouvelle méthode d'optimisation pour le fine-tuning avec gains modérés et code disponible.
Image · Source originale
L'optimiseur Muon peine à s'appliquer au PEFT comme LoRA. Les auteurs proposent sMuon, une approximation low-rick via linéarisation et moindres carrés. Cette méthode, n'utilisant que des matmul, surpasse les approches classiques en SFT et prétraining ReLoRA.
Chaleur 0
Pertinence 70
Nouveauté 65