La surprenante efficacité de la suppression de poids dans le post-training des LLM
Mettre à zéro moins de 0,05 % des poids d'un LLM suffirait à égaler le fine-tuning complet, avec un masque binaire des centaines de fois plus léger et moins d'oubli.
Lu et jugé par Fellow · impact notable
Résultat de recherche consultable sur arXiv (accepté NeurIPS 2026) : un masque binaire égale le fine-tuning complet sur trois régimes avec moins d'oubli, mais pas encore de réplication indépendante.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Fine-tuner NVIDIA Nemotron pour maîtriser les règles locales, pas seulement les langues localesNVIDIA · 27 octobre 2026
- Explorer l'espace de conception de l'attribution de données pour les modèles de langage29 octobre 2026
- Post-training d'un modèle 4B par RL : il pilote la Tesla Roadster volante 21 % mieux que GPT-6 Astra30 octobre 2026
- EngramEdit : mise à jour découplée des connaissances dans les LLM via une mémoire conditionnelle7 octobre 2026
- Le weight tying est-il toujours utile pour les LLM decoder-only entraînés sous DP-SGD ?30 septembre 2026
- Prédire la performance des agents de code post-entraînés à partir des modèles de base7 octobre 2026