Kv cache
Fellow suit ce sujet depuis juillet 2026 : 17 articles résumés en français, dont 6 jugés majeurs ou notables.
Toute l'actualité · 17 articles
BeNice! : combler l'écart inférence-mémoire des modèles bouclés grâce au KV-sharing
Des chercheurs proposent une méthode en deux étapes, avec stochastic depth au pré-entraînement puis BeNice! en post-training, pour partager le KV-cache entre récurrences des architectures bouclées.
Latent Compaction : compresser le cache KV par entraînement au moment du test
Des chercheurs proposent d'apprendre un cache KV compact propre à chaque document via test-time training, avec 96,7 % de précision sur RULER à 32× de compression.
DeepSeek-V4.1-Flash : repousser les limites de la compression du cache KV
DeepSeek publie une version allégée de son modèle V4.1, axée sur l'optimisation de la mémoire KV cache pour des déploiements plus efficaces.
WUSH-KV : quantification du KV cache par transformées adaptatives aux données
Une nouvelle méthode réduit l'empreinte mémoire du KV cache en LLM tout en limitant la perte de précision, même à 2 bits.
KV-streams : une méthode pour accélérer la compaction de contexte en RL agentique
Un nouveau mécanisme évite de reconstruire le cache KV à chaque compaction, avec un gain de vitesse d'entraînement jusqu'à 5x.
Flash-dLLM : cache KV optimisé pour l'I/O et décodage parallèle pour des LLMs de diffusion rapides
Un framework sans entraînement qui accélère les LLMs de diffusion en s'attaquant au goulot d'étranglement mémoire du cache KV.
Cache-to-Cache : une communication sémantique directe entre LLMs
Un papier propose de faire échanger des LLMs via leurs caches internes plutôt que par du texte généré, pour transmettre du sens plus directement.
DeepSeek-V4.1 Flash : repousser les limites de la compression du KV cache
Un décryptage technique de l'architecture de DeepSeek-V4.1 Flash, centré sur ses optimisations agressives de compression du cache clé-valeur.
LRU reste plus difficile à surpasser que ne le suggèrent les papiers sur le KV-cache
Un dépôt GitHub questionne les gains réels des stratégies récentes de cache KV face à la simple politique LRU.
MISA-T : ordonnancer les rollouts RL mixtes au-delà de la localité de préfixe
Une nouvelle politique d'admission au niveau routage optimise le partage du cache KV entre RLVR, RLHF et rollouts agentiques lors du post-training des LLM.
CoinRAG : réutilisation de cache KV pour le RAG long-contexte
Une méthode de réutilisation de cache fine-grained pour optimiser l'efficacité et la précision du RAG.
Réplication spéculative de KV pour l'inférence LLM par pics
Une méthode de réplication prédictive du cache KV optimise l'inférence lors des pics de charge.
ResKV : reconstruire les contributions d'attention omises pour la compression du cache KV à budget fixe
Une méthode qui combine cache principal exact et cache résiduel compact pour limiter les pertes d'information lors de la compression du KV cache en contexte long.
Éviction comme estimation : la mémoire à décalage fixe pour la gestion de la mémoire en test
Une nouvelle façon de penser la gestion de mémoire des LLM révèle les limites des méthodes existantes sur des benchmarks tiers indépendants.
Windowed-MTP : supprimer le surcoût de KV cache complet du draft à un million de tokens
Une fenêtre glissante appliquée uniquement au module de prédiction multi-token accélère le décodage spéculatif sans perte de qualité sur des contextes massifs.
DepthWeave-KV : compression adaptative du cache KV par factorisation résiduelle inter-couches
Une nouvelle méthode réduit jusqu'à 8,3× la mémoire du cache KV des LLMs en contexte long, sans réentraîner le modèle de base.
FreqDepthKV : compression du cache KV guidée par la fréquence et la profondeur pour l'inférence LLM longue
Une nouvelle méthode de compression du cache KV à l'inférence divise les états en composantes basse fréquence partagées et résidus haute fréquence, sans réentraînement.