Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


OUTILS
OUTIL

Huawei publie MACaQ, son outil interne de quantification pour l'inférence locale

Huawei ouvre MACaQ, un quantizer indépendant du modèle qui produit des GGUF et des checkpoints W4A4 pour le texte, l'image, la vidéo et l'audio avec llama.cpp, vLLM, Diffusers et PyTorch.

huawei-csl sur GitHub·repéré via Hacker News·11 novembre 2026
Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Huawei publie MACaQ, son outil interne de quantification pour l'inférence locale
Image · Source originale
MACaQ quantifie des modèles de texte, d'image, de vidéo et d'audio, avec des formats GGUF 2, 3 et 4 bits pour llama.cpp et du W4A4 pour vLLM, Diffusers et PyTorch. Le dépôt indique qu'un modèle de 122B paramètres est quantifié en 64 minutes avec 32,5 Go de mémoire, et une perplexité inférieure à MR-GPTQ et DuQuant++. Sur Qwen3.8-27B dans vLLM, le W4A4 atteint 2,33× en prefill et 2,58× en decode par rapport au BF16. Des kernels Ascend sont proposés via des pull requests CANN.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#quantization#gguf#inférence-locale#huawei#open-source

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi