Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : notable

Entraînement de bout en bout en 4 bits

Thinking Machines détaille comment entraîner des LLM avec des formats numériques à faible précision (BF16, MXFP8, NVFP4) sur GB300, en maîtrisant l'erreur de quantification.

thinkingmachines.ai·repéré via Hacker News·13 novembre 2026

Lu et jugé par Fellow · impact notable

Billet technique d'un labo identifié détaillant l'entraînement en NVFP4/MXFP8 sur GB300 avec chiffres de débit (15 vs 2,5 PFLOPS) ; avance méthodologique utile mais résultats finaux non établis ici.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Entraînement de bout en bout en 4 bits
Image · Source originale
Le billet de Thinking Machines explique le compromis de l'entraînement en basse précision : moins de bits réduisent la mémoire et accélèrent les calculs, mais augmentent l'erreur de quantification, qui s'accumule au fil des couches et des étapes d'optimisation. Trois formats sont utilisés, BF16, MXFP8 et NVFP4, sur la plateforme NVIDIA GB300. Le NVFP4 est stocké avec 3,6 fois moins de bits que le BF16 mais s'exécute jusqu'à 6 fois plus vite. Le compromis est examiné séparément pour chaque étape : pretraining, SFT et RL.

Traduit et résumé par IA à partir de l'article de thinkingmachines.ai ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#low-precision#NVFP4#entraînement#GB300#quantization

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi