Aller au contenu
Édition de la mi-journée · N° 640 · prochaine à 17 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

CodeQuant2 : meilleure gestion des outliers et clustering adaptatif pour les LRM en basse précision

Un framework de quantization par clustering et LUT cible les large reasoning models : jusqu'à 2,85× plus rapide que BF16, avec de meilleurs résultats sur les benchmarks de raisonnement.

arXiv·Xingyu Liu, Xiangyang Yin, Tianhua Xia, Haiyu Wang·6 novembre 2026

Lu et jugé par Fellow · impact léger

Méthode de quantization LUT pour modèles de raisonnement avec kernel CUDA dédié et gain annoncé jusqu'à 2,85× face à BF16, mais article arXiv isolé, sans reprise ni validation indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
CodeQuant2 : meilleure gestion des outliers et clustering adaptatif pour les LRM en basse précision
Image · Source originale
Les large reasoning models génèrent de longues traces de raisonnement, ce qui renchérit l'inférence et rend la quantization basse précision plus utile. Les auteurs observent de plus fortes fluctuations d'activations lors des premières étapes de décodage. CodeQuant2 combine rotation et scaling contre les outliers, clustering pour les poids non uniformes, tailles de codebook adaptées par couche et sélection d'échantillons de calibration plus fidèle au décodage. Avec un kernel CUDA LUT dédié, il améliore la précision et atteint jusqu'à 2,85× de speedup face à BF16.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#quantization#large-reasoning-models#inference#cuda#LUT

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi