RECHERCHE
Généralisation de distance dans les transformers : l'utilité des PE
Une étude interroge la nécessité des encodages de position pour la généralisation de distance chez les transformers.
arXiv cs.AI · cs.LG · cs.CL·Daniel Henrik Nevermann, Claudius Gros·10 septembre 2026
Lu et jugé par Fellow · impact léger
Étude théorique sur tâches synthétiques sans implémentation ni benchmark standard.
Image · Source originale
Ce papier explore la généralisation de distance, mesurant les performances quand les distances entre tokens varient entre entraînement et inférence, à longueur fixe. Via des tâches de copie synthétiques, les auteurs évaluent l'impact de schémas comme RoPE et ALiBi, la diversité des données et le transfert d'apprentissage.
Chaleur 26
Pertinence 65
Nouveauté 55