RECHERCHE

PAPIERléger

FuTransformer : prefill FP8 et decode INT4 pour l'inférence de type Llama sur Hopper

Une implémentation CUDA d'un bloc Transformer de type Llama pour GPU Hopper combine prefill en FP8 et decode en INT4, avec des gains mesurés sur H100 face à PyTorch.

arXiv·Wei Wang·16 octobre 2026

Lu et jugé par Fellow · impact léger

Implémentation CUDA de noyaux d'inférence avec gains mesurés sur H100 face à PyTorch et perplexité rapportée, mais portée limitée à Hopper, résultats d'un seul auteur sans réplication indépendante.

Verdict rendu par une IA selon une grille publique

Image · Source originale

FuTransformer est une implémentation CUDA d'un bloc Transformer de type Llama pour GPU NVIDIA Hopper, étendant l'approche GEMM-plus-epilogue de CODA à l'inférence. Sur un H100, le prefill FP8 atteint 1,29 PFLOP/s et jusqu'à 1,48x la vitesse de PyTorch FP8 compilé. Le decode INT4 est 1,3 à 2,4x plus rapide que le meilleur des blocs PyTorch BF16 et INT4 (shapes 8B et 70B, batchs 1-32) et 31-51 % plus rapide que le chemin FP8. Le decode complet de Llama-3.1-8B prend 2,8 ms.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗

#inférence #quantization#fp8#int4#hopper

FuTransformer : prefill FP8 et decode INT4 pour l'inférence de type Llama sur Hopper

Lu et jugé par Fellow · impact léger

À lire aussi