ReplaySSM : repenser le stockage d'état pour accélérer le décodage des modèles hybrides

NVIDIA présente ReplaySSM, une approche de stockage d'état pour les modèles hybrides SSM-attention, utilisés par Nemotron 3, Qwen3.5 à Qwen3.8, Kimi-K3 et GLM-5.3-Flash.

NVIDIA Developer Blog·Michelle Horton·12 octobre 2026

Lu et jugé par Fellow · impact notable

Technique vérifiable (papier arXiv, code GitHub) intégrée à TensorRT-LLM, vLLM, FlashInfer et en production ; gains mesurés de 1,20× à 1,47× sur le pas de décodage à batch 256.

Verdict rendu par une IA selon une grille publique

ReplaySSM : repenser le stockage d'état pour accélérer le décodage des modèles hybrides

Image · Source originale

Les modèles hybrides intercalent des couches SSM et quelques couches d'attention. Nemotron 3, Qwen3.5 à Qwen3.8, Kimi-K3 et GLM-5.3-Flash reposent sur cette architecture, avec Mamba-2, Gated DeltaNet ou Kimi Delta Attention. Les couches SSM accélèrent le décodage en utilisant un état de taille fixe à la place d'un cache KV qui croît avec la séquence. NVIDIA propose ReplaySSM pour repenser le stockage de cet état.

Traduit et résumé par IA à partir de l'article de NVIDIA Developer Blog ↗ · Comment Fellow travaille

Chaleur 5

Pertinence 50

Nouveauté 65

OUVRIR LA SOURCE ↗

#ssm#modèles-hybrides#décodage#nvidia#mamba

ReplaySSM : repenser le stockage d'état pour accélérer le décodage des modèles hybrides

Lu et jugé par Fellow · impact notable

À lire aussi