Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


OUTILS
OUTILVerdict : notable

DeepSeek Ultrafast : un moteur d'inférence ultra-rapide pour DeepSeek-V4.1-Flash sur GPU Blackwell

Baseten publie sur GitHub un moteur d'inférence pour DeepSeek-V4.1-Flash : jusqu'à 2 060 tokens/s en décodage, contexte de 1M tokens et partage du KV cache entre serveurs.

basetenlabs sur GitHub·repéré via Hacker News·13 novembre 2026

Lu et jugé par Fellow · impact notable

Code source publié avec chiffres de performance mesurés (1 740 à 2 060 tokens/s, prefill 1M tokens en ~12 s) et procédure de reproduction, mais matériel très spécifique (Blackwell) et mesures du fournisseur sur un seul prompt.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Le dépôt basetenlabs/deepseek-ultrafast propose un moteur d'inférence pour DeepSeek-V4.1-Flash sur GPU sm_100a et sm_103a, avec contexte de 1M tokens. Il atteint 1 740 tokens/s sur 4 GB300 et 2 060 tokens/s sur 8 B300 en décodage, avec un prefill de 1M tokens en 11,7 à 13,2 s. Le KV cache est partagé entre serveurs via RDMA et Redis, sans routage sensible aux préfixes.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#inférence#deepseek#kv-cache#blackwell#open-source

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi