RECHERCHE
SIREN-RoPE : encodage positionnel rotatif temporel et sémantique pour les modèles séquentiels
Des chercheurs proposent d'enrichir le RoPE des Transformers en traitant l'espace de rotation comme une dimension apprenante conditionnée par le signal.
arXiv cs.AI · cs.LG · cs.CL·Hailing Cheng, Daqi Sun, Xinyu Lu·27 avril 2026
Image · Source originale
L'article argumente que l'espace de rotation sur lequel opère le RoPE (Rotary Positional Embeddings) est une dimension d'expressivité sous-exploitée dans les mécanismes d'attention. Les auteurs introduisent SIREN-RoPE, qui peuple cette dimension avec des signaux hétérogènes (horodatages continus, patterns temporels cycliques, métadonnées catégorielles) via un réseau SIREN à double branche. L'approche est évaluée sur un dataset de flux d'actualités à l'échelle de production d'un grand réseau social.
Chaleur 0
Pertinence 62
Nouveauté 72