Têtes d'attention positionnelles vs symboliques : dynamiques d'apprentissage, géométrie RoPE et généralisation en longueur

Des chercheurs ont entraîné un Transformer décodeur (GPT-J) sur deux tâches de raisonnement multi-hop structurellement équivalentes — l'une numérique, l'autre alphabétique — pour analyser la dynamique des têtes d'attention. Ils montrent que l'apprentissage réussi s'accompagne de l'émergence de têtes « pures », soit positionnelles, soit symboliques. Une construction théorétique explique comment l'attention RoPE réalise ces fonctions via des opérations géométriquement interprétables, et une nouvelle notion de discordance quantifie la robustesse différentielle de ces mécanismes face à des séquences plus longues.