RECHERCHE
PAPIERLatent Compaction : compresser le cache KV par entraînement au moment du test
Des chercheurs proposent d'apprendre un cache KV compact propre à chaque document via test-time training, avec 96,7 % de précision sur RULER à 32× de compression.
arXiv·Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han·14 octobre 2026
Lu et jugé par Fellow · impact notable
Méthode de compression du cache KV avec chiffres sur RULER (96,7 % à 32× contre 40,0 % pour KVZip+), plusieurs benchmarks, deux familles de modèles et code publié ; résultat non encore reproduit indépendamment.
Image · Source originale
Latent Compaction apprend un cache KV compact spécifique à un document par test-time training, avec poids du modèle gelés et sans accès aux questions en aval. Le cache est initialisé selon l'importance de reconstruction, l'attention du teacher et la diversité dans l'espace des clés, puis optimisé par distillation de bout en bout. Sur RULER, la méthode atteint 96,7 % à 32× de compression contre 40,0 % pour KVZip+. Elle se transfère à Qwen3 et MiniCPM5 ; le code est publié.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Chaleur 14
Pertinence 55
Nouveauté 72
À lire aussi
- LensVLM : Apple compresse le contexte long sous forme d'images, en n'agrandissant que les pages pertinentesHugging Face · 23 septembre 2026
- DeepSeek-V4.1-Flash : repousser les limites de la compression du cache KVDeepSeek · 1 octobre 2026
- LRU reste plus difficile à surpasser que ne le suggèrent les papiers sur le KV-cache10 septembre 2026
- DepthWeave-KV : compression adaptative du cache KV par factorisation résiduelle inter-couches7 juillet 2026
- FreqDepthKV : compression du cache KV guidée par la fréquence et la profondeur pour l'inférence LLM longue7 juillet 2026
- ResKV : reconstruire les contributions d'attention omises pour la compression du cache KV à budget fixe31 juillet 2026