Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


OUTILS · NVIDIA
Verdict : léger

Quand un GPU ne suffit pas : servir GLM-5.3 sur deux NVIDIA DGX Station avec vLLM

NVIDIA détaille comment deux DGX Station reliées en RDMA ConnectX-8 exposent un seul endpoint pour servir localement un modèle de taille frontier, grâce au tensor parallelism.

NVIDIA Developer Blog·Fatima Fall·13 novembre 2026

Lu et jugé par Fellow · impact léger

Tutoriel NVIDIA détaillé et reproductible (image vLLM épinglée, checkpoint 464 Go, TP=2), utile aux équipes disposant de deux DGX Station mais de portée limitée à ce matériel.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Quand un GPU ne suffit pas : servir GLM-5.3 sur deux NVIDIA DGX Station avec vLLM
Image · Source originale
Les plus gros modèles ne tiennent plus dans la mémoire GPU d'une seule machine. Deux NVIDIA DGX Station connectées via ConnectX-8 RDMA servent un même modèle derrière un endpoint unique, le tensor parallelism répartissant poids et calculs entre les deux GPU. L'exemple retenu est GLM-5.3 NVFP4, version quantifiée du modèle mixture-of-experts de Z.ai, servie avec vLLM.

Traduit et résumé par IA à partir de l'article de NVIDIA Developer Blog ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#vllm#dgx-station#tensor-parallelism#inférence#quantization

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi