E²-TTT : réconcilier expressivité et efficacité en Test-Time Training

E²-TTT propose une transition d'état à forme fermée pour reproduire exactement les mises à jour par token du Test-Time Training, permettant un entraînement parallisé par blocs. Validé sur des modèles jusqu'à 1,3 milliard de paramètres, il égale les standards en modélisation linguistique et excelle en récupération in-context. La méthode maintient plus de 90 % de précision sur le test Needle in a Haystack à huit fois la longueur de contexte d'entraînement.