Compression
Fellow suit ce sujet depuis juillet 2026 : 19 articles résumés en français, dont 5 jugés majeurs ou notables.
Toute l'actualité · 19 articles
Latent Compaction : compresser le cache KV par entraînement au moment du test
Des chercheurs proposent d'apprendre un cache KV compact propre à chaque document via test-time training, avec 96,7 % de précision sur RULER à 32× de compression.
Compression de LLM sous 1 bit via factorisation latente
Samsung Labs propose LittleBit, une méthode de compression extrême des grands modèles de langage qui réduit les poids à moins d'un bit par paramètre sans dégradation majeure des performances.
DeepSeek-V4.1-Flash : repousser les limites de la compression du cache KV
DeepSeek publie une version allégée de son modèle V4.1, axée sur l'optimisation de la mémoire KV cache pour des déploiements plus efficaces.
L'empreinte de compression comme signal de sécurité contre l'empoisonnement en apprentissage fédéré
Des chercheurs détournent la compression avec perte, habituellement vue comme une source d'erreur, pour détecter les mises à jour malveillantes en Federated Learning.
Weight Pair Encoding : réduire la grammaire des poids d'un réseau de neurones par fine-tuning
Une méthode entraîne explicitement les poids d'un réseau à admettre une grammaire compressée plus petite, via un estimateur straight-through.
LensVLM : Apple compresse le contexte long sous forme d'images, en n'agrandissant que les pages pertinentes
Apple publie un modèle vision-langage qui encode les documents comme des images compressées, réduisant le coût du traitement de longs contextes.
Gzip peut-il faire office de modèle de langage ?
Un billet explore l'idée provocatrice d'utiliser la compression gzip comme méthode de modélisation du langage, sans réseau de neurones.
LACE : compression couche par couche pour les codecs audio à débit de trame dynamique
Un nouveau codec neuronal applique une compression indépendante à chaque couche de quantification pour améliorer l'efficacité des systèmes de synthèse vocale.
Apprentissage fédéré personnalisé aligné sur la confidentialité avec adaptation compacte
Une méthode réduit le coût de communication et préserve la confidentialité en confinant l'adaptation client à un espace de coefficients de faible dimension.
Compression de Vision Transformer pour détection de maladies végétales sur edge
Une méthode unifiée combine pruning, quantization et distillation pour déployer des ViTs sur des appareils agricoles contraints.
Quasar 438B : Multiverse Computing présente son modèle IA "leader en Europe"
La startup espagnole revendique un nouveau modèle de 438 milliards de paramètres, présenté comme la référence européenne en IA générative.
Quantization-Aware Healing : le modèle 4-bit surpasse son original
Une nouvelle méthode de quantization permet à des modèles compressés en 4-bit de surpasser leurs versions en pleine précision.
Compression par signe pour Muon : SignMuon, MuonSign et les limites de l'error feedback
Une étude théorique et empirique révèle un paradoxe : la méthode de compression la plus efficace en pratique est aussi celle qui diverge en théorie.
ResKV : reconstruire les contributions d'attention omises pour la compression du cache KV à budget fixe
Une méthode qui combine cache principal exact et cache résiduel compact pour limiter les pertes d'information lors de la compression du KV cache en contexte long.
EVOLVE : compression volumétrique apprise à taux variable via une base de données cross-domaine
Un framework à base d'autoencodeur promet des taux de compression bien plus élevés pour les données volumétriques scientifiques, sans réentraînement par fichier.
Requential Coding : compression de modèle via données auto-générées
Une nouvelle méthode de compression exploitant les données auto-générées surpasse les limites du prequential coding.
SLORR : régularisation low-rank légère et efficace pendant l'entraînement
Une méthode de régularisation sans état qui améliore la compressibilité des réseaux de neurones avec moins de 1 % de surcoût à l'entraînement.
DepthWeave-KV : compression adaptative du cache KV par factorisation résiduelle inter-couches
Une nouvelle méthode réduit jusqu'à 8,3× la mémoire du cache KV des LLMs en contexte long, sans réentraîner le modèle de base.
FreqDepthKV : compression du cache KV guidée par la fréquence et la profondeur pour l'inférence LLM longue
Une nouvelle méthode de compression du cache KV à l'inférence divise les états en composantes basse fréquence partagées et résidus haute fréquence, sans réentraînement.