Mise à l'échelle par blocs UE5M3 FP4 pour un pré-entraînement stable des LLM

Des chercheurs proposent une méthode combinant des payloads E2M1 avec des échelles de bloc E5M3 non signées pour stabiliser le pré-entraînement en FP4, sans transformée de Hadamard aléatoire. Testée sur un modèle Nemotron-H 8B entraîné sur près de 190 milliards de tokens, cette approche obtient une perte finale plus basse et de meilleures performances en aval que la recette Transformer Engine de NVIDIA, tout en augmentant le débit de traitement de 21,2%.