Aller au contenu
Édition du matin · N° 587 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Attention linéaire multi-états avec routage généralisé du second ordre

MERLIN suit les moments d'ordre un et deux des clés de chaque segment pour agréger plus finement les états mémoire et améliorer les tâches long-contexte des modèles à attention linéaire.

arXiv·Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky·27 octobre 2026

Lu et jugé par Fellow · impact léger

Méthode de routage pour attention linéaire multi-états, gains chiffrés sur RULER et LongBench avec deux modèles ; résultat de recherche incrémental, sans validation indépendante ni reprise externe.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Attention linéaire multi-états avec routage généralisé du second ordre
Image · Source originale
Les mécanismes d'attention linéaire multi-états (MSLA) découpent le contexte en segments, chacun compressé dans un état mémoire, mais n'agrègent que l'alignement moyen requête-clés. MERLIN suit les premier et second moments des clés pour retrouver moyenne et variance de l'alignement. Sur des variantes multi-états de Gated DeltaNet-1.3B et Mamba-2-780M, il surpasse les méthodes d'agrégation existantes sur RULER (+8,3 % et +7,0 %) et LongBench (+13,5 % et +12,0 %), y compris des baselines utilisant 4x plus de mémoire.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#attention-linéaire#long-context#mamba#gated-deltanet#benchmark

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi