Entraîner des LLM plus vite avec JAX et MaxText via NVFP4 sur NVIDIA Blackwell

Le pre-training de LLM frontier repose sur le débit de calcul : chaque point de pourcentage gagné sur le temps de step représente des jours d'entraînement et des coûts substantiels. NVIDIA présente l'utilisation de NVFP4, un format basse précision en précision mixte, intégré à JAX et MaxText sur l'architecture Blackwell. L'article détaille comment ce levier numérique améliore le throughput tout en préservant la stabilité de l'entraînement à grande échelle.