Ce que la courbe de loss ne montre pas : le pretraining en FP4 ralentit l'acquisition des faits rares

Les auteurs entraînent des transformers avec des multiplications matricielles 4 bits émulées sur des biographies synthétiques à expositions contrôlées. Le NVFP4 nécessite 1,32× et 1,52× plus d'expositions que le BF16 pour un rappel équivalent, alors que la loss de validation diffère de 0,5 % et 2 %. Le bruit de gradient dans la mise à jour, qui réduit le rapport signal sur bruit, explique l'essentiel du coût. Les auteurs recommandent de mesurer l'acquisition de faits rares en complément de la loss.