Aller au contenu
Édition du matin · N° 567 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : notable

Embeddings n-gram à faible précision pour les modèles de langage

Stocker les tables d'embeddings n-gram en 4 bits réduit d'environ 75 % la mémoire des tables tout en conservant plus de 99 % du gain en validation loss, selon une étude sur plusieurs familles de modèles.

arXiv·Stephen Chung, Wenyu Du·22 octobre 2026

Lu et jugé par Fellow · impact notable

Résultats chiffrés sur plusieurs familles de modèles (75 % de mémoire économisée, >99 % du gain conservé, 47-55 % sur modèles existants) : avance réelle mais incrémentale, sans reproduction indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Embeddings n-gram à faible précision pour les modèles de langage
Image · Source originale
Les auteurs proposent de quantifier les tables d'embeddings n-gram, utilisées par de nombreux modèles open-weights, pour en réduire le coût mémoire. Sur des modèles nanochat, Llama et GPT-2 entraînés from scratch, les tables en 4 bits économisent environ 75 % de mémoire et préservent plus de 99 % du gain. Sur DeepSeek-V4.1-Flash et Qwen3.8-Flash-Next, l'économie atteint 47-55 % avec moins de 1,2 % de hausse de perplexité. Un court fine-tuning compense une partie des pertes à très faible précision.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#quantization#n-gram#embeddings#open-weights#efficacité-mémoire

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi