La superposition n'est pas nécessaire : analyse mécaniste des représentations Transformer pour la prévision de séries temporelles

Des chercheurs appliquent des sparse autoencoders (SAEs), issus de l'interprétabilité mécaniste, aux représentations internes de PatchTST pour les séries temporelles. Les résultats montrent que l'expansion du dictionnaire n'améliore quasiment pas les performances (0,214% en moyenne) et que les interventions causales sur les features latentes ont un impact minimal. Les représentations FFN restent sparse et stables, sans recourir à la superposition. Ces résultats expliquent pourquoi de simples modèles linéaires restent compétitifs face aux Transformers sur les benchmarks standards.