Entraînement de bout en bout en 4 bits
Thinking Machines détaille comment entraîner des LLM avec des formats numériques à faible précision (BF16, MXFP8, NVFP4) sur GB300, en maîtrisant l'erreur de quantification.
Lu et jugé par Fellow · impact notable
Billet technique d'un labo identifié détaillant l'entraînement en NVFP4/MXFP8 sur GB300 avec chiffres de débit (15 vs 2,5 PFLOPS) ; avance méthodologique utile mais résultats finaux non établis ici.

Traduit et résumé par IA à partir de l'article de thinkingmachines.ai ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Show HN : Maple, élagage MoE sous 2 BPW pour faire tourner Gemma 4 26B à 45 TPS sur un GPU de 6 Go8 novembre 2026
- L'architecture des LLM open-weights : MoE, couches hybrides et poids ternaires5 novembre 2026
- Show HN : un modèle de diffusion vidéo+audio de 31B compressé à 14B, 6 étapes, INT87 novembre 2026
- Nunchaku : inférence 4-bit pour diffusion dans DiffusersHugging Face · 23 juillet 2026
- OpenAI dévoile son architecture réseau pour superordinateurs d'entraînement IA à grande échelleOpenAI · 12 mai 2026
- DeepSeek v4.1 Flash Uncensored sur Hugging FaceHugging Face · 11 septembre 2026