Votre Transformer est secrètement élastique

Une méthode sans réentraînement transforme des transformers pré-entraînés en un modèle unique, ajustable à la volée selon le budget de calcul, avec une dégradation progressive jusqu'à 60 % de sparsité.

arXiv·Walter Simoncini, Dheeraj Varghese, Gertjan J. Burghouts, Cees G. M. Snoek·14 octobre 2026

Lu et jugé par Fellow · impact notable

Méthode d'élagage sans réentraînement testée sur 27 encodeurs (22M–8B) avec chiffres précis (−0,8 % de précision à 50 %, 1,80× de débit) et code publié ; avancée incrémentale, sans validation indépendante.

Verdict rendu par une IA selon une grille publique

Image · Source originale

Les auteurs proposent une méthode sans réentraînement qui rend élastiques des transformers pré-entraînés, grâce à une relaxation différentiable du classement des unités fonctionnelles : chaque neurone MLP et chaque tête d'attention sont classés conjointement sur une échelle commune. Testée sur 27 encodeurs vision et texte (22M à 8B paramètres), elle donne une dégradation progressive jusqu'à 60 % de sparsité. Élaguer DINOv3 ViT-H+/16 à 50 % retire 427M paramètres pour 0,8 % de précision perdue en linear probing sur ImageNet-1k. À 60 %, AugReg ViT-B/16 gagne jusqu'à 1,80× en débit et 1,26× en latence sur A100.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

Chaleur 12

Pertinence 50

Nouveauté 68

OUVRIR LA SOURCE ↗

#transformers#pruning#inférence#sparsité#efficacité

Votre Transformer est secrètement élastique

Lu et jugé par Fellow · impact notable

À lire aussi