Aller au contenu
Édition de la mi-journée · N° 640 · prochaine à 17 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : notable

BitDecoding-FP4 : décodage natif du KV cache en FP4 par co-conception algorithme-système

Une approche combinant quantization et optimisations système vise un KV cache en FP4 précis et rapide : jusqu'à 3,0× de débit en serving par rapport au BF16 sur NVIDIA B300.

arXiv·Dayou Du, Woon Yee Ng, Guangming Sheng, Nick Lau·6 novembre 2026

Lu et jugé par Fellow · impact notable

Article arXiv avec code publié et chiffres mesurés (précision à 0,5 point du BF16, débit ×2,4 à 3,0 sur B300), mais résultats non encore vérifiés indépendamment et limités au matériel Blackwell.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
BitDecoding-FP4 : décodage natif du KV cache en FP4 par co-conception algorithme-système
Image · Source originale
BitDecoding-FP4 associe trois techniques contre les erreurs de quantization (Dual-Residual Query Quantization, Underflow-Aware Probability Scaling, Outlier-Aware Key Quantization) et des optimisations système (softmax transposé, MMA de requêtes empilées sur KV caches paginés). La précision reste à 0,5 point du KV BF16 avec NVFP4 (1 point avec MXFP4). Sur B300 avec Qwen3-4B et Qwen3-30B-A3B, le débit de pointe est multiplié par 2,4 à 3,0.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#kv-cache#quantization#fp4#inference#llm-serving

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi