Latent Sparse Attention : vers une attention sous-quadratique pour les contextes ultra-longs

Latent Sparse Attention (LSA) regroupe hiérarchiquement les clés dans un espace latent appris ; les requêtes évaluent les clusters plutôt que chaque clé, ce qui accélère prefill, decode et entraînement. Deux variantes : D-LSA, appliquée à des modèles pré-entraînés par distillation, et N-LSA, entraînée nativement. À 10M de tokens, D-LSA accélère une couche d'attention de 22,7x en prefill et 4,6x en decode face à l'attention parcimonieuse d'origine, avec une précision similaire. N-LSA égale la full attention avec un entraînement 1,6x plus rapide par couche à 128k tokens.