Quantization

Première version d'un outil standard permettant l'inférence LLM sur CPU grand public par quantization.

Stocker les tables d'embeddings n-gram en 4 bits réduit d'environ 75 % la mémoire des tables tout en conservant plus de 99 % du gain en validation loss, selon une étude sur plusieurs familles de modèles.

Une implémentation CUDA d'un bloc Transformer de type Llama pour GPU Hopper combine prefill en FP8 et decode en INT4, avec des gains mesurés sur H100 face à PyTorch.

Des chercheurs décortiquent ce qui fait un bon DocID numérique dans les systèmes de recherche générative, via un cadre unifié et des métriques sans entraînement.

Un modèle de synthèse vocale compressé 10x, 8,5 Mo en int8, tourne 25x plus vite que le temps réel sur un seul CPU.

Une méthode de quantification spatio-temporelle réduit jusqu'à 68,7% la mémoire de serving tout en préservant la précision proche du FP32.

Une méthode sans entraînement permet de quantifier en 8 bits l'état récurrent des architectures à attention linéaire, sans perte notable de qualité.

Un projet open source distribue l'inférence d'un LLM quantifié en 1,58 bit sur plusieurs microcontrôleurs ESP32-S3.

Une étude montre que la quantification pousse les modèles de raisonnement à produire des chaînes de pensée plus longues sans gain de précision réel.

Une méthode entraîne explicitement les poids d'un réseau à admettre une grammaire compressée plus petite, via un estimateur straight-through.

Une étude théorique établit des bornes de généralisation pour OPTQ et propose un nouveau choix du paramètre de régularisation λ.

La bibliothèque Transformers de Hugging Face intègre nativement les modèles quantifiés au format GGUF de llama.cpp.

Tim Dettmers présente une semaine dédiée à l'open source visant à rendre les modèles d'IA de pointe exécutables sur du matériel personnel.

Une nouvelle méthode de quantisation repousse les limites de compression des LLM ternaires sans perte significative de performance.

DealgnAI publie une version non censurée et optimisée FP8 de DeepSeek v4.1 Flash.

FOM-UL cible les couches influentes pour un oubli robuste, résistant à la quantisation.

Une étude sur 9 modèles open-weights montre que les dégâts de la quantization sont diffus, pas localisés, et que la granularité globale bat les réparations ciblées.

Réduire les coûts d'évaluation via batching ou quantisation peut altérer les conclusions sur les biais et la performance des modèles.

Une nouvelle méthode de quantization permet à des modèles compressés en 4-bit de surpasser leurs versions en pleine précision.

Liquid AI publie des versions quantifiées de LFM2.5 obtenues via une méthode de distillation prenant en compte la quantification.

Georgi Gerganov publie la version initiale de llama.cpp, portant l'inférence LLM sur CPU.

Une étude systématique sur 560 modèles montre que la méthode de calibration des activations conditionne fortement la précision des prévisions de volatilité en quantification basse précision.

Un nouveau schéma de quantification réduit le coût de communication tout en garantissant la confidentialité différentielle locale dans l'optimisation distribuée.

Un modèle MoE de 20 milliards de paramètres, optimisé via ternarisation, tourne localement sur iOS.

Un cadre FSL quantifié pour optimiser l'énergie des DNN sur appareils mobiles contraints.

Un projet démontre la faisabilité de faire tourner un modèle BitNet sur le microprocesseur 6502.

MixFrag optimise le déploiement des ViT via une allocation de précision adaptative.

Un projet démontre la faisabilité de faire tourner un petit modèle LLM sur ESP32, un microcontrôleur à très bas coût.

Hugging Face intègre Nunchaku pour accélérer l'inférence Stable Diffusion via la quantification 4-bit.

Une nouvelle méthode de gestion mémoire pour les modèles MoE promet jusqu'à 72% d'économies GPU sans perte de précision.

La précision et la perplexité ne suffisent pas à évaluer la quantization : une nouvelle métrique comportementale révèle des divergences invisibles.