Continuum Attention : une attention causale par intégration sur une courbe mémoire continue

Continuum Attention (CA) est un opérateur d'attention causale pour Transformer qui remplace la recherche discrète de clés et valeurs par l'intégration d'une densité de pertinence exponentielle le long d'une courbe mémoire continue linéaire par morceaux. L'attention normalisée exacte est obtenue en forme close, avec des gradients analytiques, une implémentation GPU parallèle et une complexité quadratique conservée. CA réduit la NLL de 0,0200 nat par octet face au softmax et de 0,0480 face à la focal attention. Le passage à plus grande échelle reste ouvert.