Visual Token Routing : apprendre à conserver les tokens visuels qui comptent

Les auteurs introduisent Visual Token Routing (VTR), un cadre d'entraînement conjoint où un routeur spatio-temporel décide, région par région, quels tokens visuels entrent dans le modèle de langage, via une loss adaptative. En 2 000 étapes d'entraînement, VTR égale le modèle pleine résolution sur OSWorld, CUA-World et la prédiction d'actions en jeu vidéo, avec 2,5 à 5,8x moins de tokens visuels. Le coût d'inférence baisse jusqu'à 3,3x et le prefill est accéléré jusqu'à 2,9x. VTR surpasse aussi la réduction de résolution et d'autres méthodes d'élagage de tokens.