Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : notable

La surprenante efficacité de la suppression de poids dans le post-training des LLM

Mettre à zéro moins de 0,05 % des poids d'un LLM suffirait à égaler le fine-tuning complet, avec un masque binaire des centaines de fois plus léger et moins d'oubli.

arXiv·repéré via Hacker News·10 novembre 2026

Lu et jugé par Fellow · impact notable

Résultat de recherche consultable sur arXiv (accepté NeurIPS 2026) : un masque binaire égale le fine-tuning complet sur trois régimes avec moins d'oubli, mais pas encore de réplication indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
La surprenante efficacité de la suppression de poids dans le post-training des LLM
Image · Source originale
Des chercheurs proposent Deletion Tuning, qui apprend un masque binaire sur la projection gate des blocs transformer. Mettre à zéro moins de 0,05 % des poids égale le fine-tuning complet (FFT) sur trois régimes de post-training : RL à récompenses vérifiables, SFT et distillation on-policy. Le masque est des centaines à des milliers de fois plus petit qu'un checkpoint FFT, et l'oubli est réduit : en RL, FFT, LoRA et le sparse fine-tuning aléatoire perdent jusqu'à 5,4 points sur les tâches antérieures. Article accepté à NeurIPS 2026.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#fine-tuning#post-training#continual-learning#LLM#sparsité

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi