Toutes les news taguées avec ce sujet.
Une étude montre que les poids MLP des ViT Softmax se transfèrent tels quels vers les ViT linéaires, tandis que l'attention doit être distillée pour combler l'écart de performance.