La prédiction ne suffit pas comme état mémoire : ce que les mises à jour futures révèlent

L'article caractérise la distinction entre reproduire les prédictions courantes et conserver la capacité d'apprendre de nouvelles observations, pour l'apprentissage cumulatif exact et l'attention. Pour des pertes résiduelles convexes lisses, un état récurrent continu de dimension fixe existe exactement quand la perte est polynomiale ; pour la ridge regression, l'état exact coûte dp+d(d+1)/2 contre dp pour le prédicteur. Une borne de compression à B bits et une classification de clôture pour l'attention à noyau complètent les résultats, sans proposer de nouvel algorithme.