OUTILS
OUTILHuawei publie MACaQ, son outil interne de quantification pour l'inférence locale
Huawei ouvre MACaQ, un quantizer indépendant du modèle qui produit des GGUF et des checkpoints W4A4 pour le texte, l'image, la vidéo et l'audio avec llama.cpp, vLLM, Diffusers et PyTorch.
huawei-csl sur GitHub·repéré via Hacker News·11 novembre 2026
Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Image · Source originale
MACaQ quantifie des modèles de texte, d'image, de vidéo et d'audio, avec des formats GGUF 2, 3 et 4 bits pour llama.cpp et du W4A4 pour vLLM, Diffusers et PyTorch. Le dépôt indique qu'un modèle de 122B paramètres est quantifié en 64 minutes avec 32,5 Go de mémoire, et une perplexité inférieure à MR-GPTQ et DuQuant++. Sur Qwen3.8-27B dans vLLM, le W4A4 atteint 2,33× en prefill et 2,58× en decode par rapport au BF16. Des kernels Ascend sont proposés via des pull requests CANN.
Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Compresser n'importe quel LLM par 3 en un clic, quasi sans perte, avec moins de 50 Mo de RAM11 novembre 2026
- smolmaxxing : faire tourner des LLM sur des appareils petits et anciens12 novembre 2026
- Relate : une base de données de graphes conçue pour les agents IA12 novembre 2026
- Un cluster d'ESP32-S3 fait tourner un modèle de langage BitNet en 1,58 bit28 septembre 2026
- De l'IA de pointe sur votre propre matériel21 septembre 2026
- Paradee : distiller Kokoro-82M en un modèle TTS mono-voix de 8M de paramètres5 octobre 2026