RECHERCHE
Super Weights dans les LLMs et l'échec de l'entraînement sélectif
Les paramètres jugés critiques dans les LLMs ne sont pas pour autant les meilleurs cibles d'entraînement — une étude remet en question le concept de Super Weights.
arXiv cs.AI · cs.LG · cs.CL·Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag·9 juillet 2026
Image · Source originale
Des travaux récents ont identifié des « Super Weights », paramètres individuels dont la suppression dégrade massivement les performances des LLMs. Cette étude montre que cibler ces paramètres en entraînement sélectif fait chuter la précision au niveau d'une réponse aléatoire sur OLMo-1B et OLMo-7B. En revanche, LoRA — qui met à jour l'ensemble d'une couche via une décomposition rang-faible — réussit avec seulement 0,16 % des paramètres. Conclusion : importance d'un paramètre n'implique pas son entraînabilité en isolation.
Chaleur 34
Pertinence 72
Nouveauté 75