RECHERCHE
L'hypothèse de séparation état-prédiction dans les Transformers
Des chercheurs proposent de découpler le flux de calcul des Transformers en deux flux distincts, améliorant l'efficacité et les performances sur les tâches en aval.
arXiv cs.AI · cs.LG · cs.CL·Giovanni Monea, Nathan Godey, Kianté Brantley, Yoav Artzi·1 juillet 2026
Image · Source originale
Les Transformers utilisent un seul flux de calcul pour prédire le prochain token et stocker l'état utile aux prédictions futures. L'hypothèse de séparation état-prédiction postule que dissocier ces deux rôles améliore la modélisation du langage. Une variante à deux flux est préentraînée à plusieurs échelles et surpasse les Transformers standards de 2 à 3 points de pourcentage en moyenne, avec une meilleure efficacité données/calcul.
Chaleur 4
Pertinence 72
Nouveauté 78