Quantification
Fellow suit ce sujet depuis juillet 2026 : 11 articles résumés en français, dont 4 jugés majeurs ou notables.
Toute l'actualité · 11 articles
Agrégation sécurisée à sécurité informationnelle avec quantification hétérogène côté clients
Des chercheurs proposent un schéma d'agrégation sécurisée pour le federated learning, tolérant les abandons de clients et la collusion, malgré des niveaux de quantification différents selon les clients.
Arrondi dans l'espace du préconditionneur : repenser la quantification 4 bits des états de l'optimiseur AdamW
Des chercheurs proposent ZIP-SR et ZE-EDEN, deux méthodes de quantification 4 bits des états d'AdamW qui limitent la distorsion du préconditionneur lors du pré-entraînement de LLM de 130M à 2,7B de paramètres.
Compression de LLM sous 1 bit via factorisation latente
Samsung Labs propose LittleBit, une méthode de compression extrême des grands modèles de langage qui réduit les poids à moins d'un bit par paramètre sans dégradation majeure des performances.
WUSH-KV : quantification du KV cache par transformées adaptatives aux données
Une nouvelle méthode réduit l'empreinte mémoire du KV cache en LLM tout en limitant la perte de précision, même à 2 bits.
Distillation on-policy pour le raisonnement en très basse quantification
Une méthode de distillation on-policy corrige les biais d'exposition amplifiés par la quantification sub-3-bit, restaurant la performance des modèles sur les tâches de raisonnement long.
Mise à l'échelle par blocs UE5M3 FP4 pour un pré-entraînement stable des LLM
Un nouveau schéma de quantification FP4 simplifie le pré-entraînement en basse précision et améliore les performances face à la recette NVIDIA existante.
Pourquoi votre LLM local semble plus bête qu'il ne l'est réellement
Un article de forum décortique les réglages techniques négligés qui plombent silencieusement les performances des LLM exécutés en local.
NVIDIA détaille le développement de Nemotron 3.5 Lightning NVFP4 avec la quantification QAD
Un nouveau checkpoint compressé à 22 Go, contre 66 Go en pleine précision, promet jusqu'à 4x plus de débit sans perte de précision.
Show HN : faire tourner un Qwen 80B dans 4,3 Go de RAM sur Mac, et un 35B sur iPhone
Un projet open source promet d'exécuter des LLM massifs sur du matériel Apple grâce à une gestion mémoire optimisée, sans exploser la RAM disponible.
Un LLM en 1 bit tourne directement dans le navigateur
Une démo Hugging Face fait tourner un modèle quantifié en 1 bit dans le navigateur grâce à WebGPU, sans serveur ni backend.
La « leçon des 4 bits » : stabilité et performance dans l'apprentissage par renforcement en NVFP4
Un article technique explore comment entraîner des modèles en RL avec le format de quantification NVFP4 sans sacrifier la stabilité de l'entraînement.