DeepSeek Ultrafast : un moteur d'inférence ultra-rapide pour DeepSeek-V4.1-Flash sur GPU Blackwell
Baseten publie sur GitHub un moteur d'inférence pour DeepSeek-V4.1-Flash : jusqu'à 2 060 tokens/s en décodage, contexte de 1M tokens et partage du KV cache entre serveurs.
Lu et jugé par Fellow · impact notable
Code source publié avec chiffres de performance mesurés (1 740 à 2 060 tokens/s, prefill 1M tokens en ~12 s) et procédure de reproduction, mais matériel très spécifique (Blackwell) et mesures du fournisseur sur un seul prompt.
Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- llama.cpp v1.0.0 : des bases plus solides pour l'écosystème de l'IA localeHugging Face · 13 novembre 2026
- LoopVQ : quantization du KV cache sous 1 bit pour les transformers bouclés3 novembre 2026
- Show HN : Spinf-serve, un serveur d'inférence pour le scoring et la décision en masse30 octobre 2026
- Un outil permet de faire tourner Qwen3.8 27B sur des GPU Nvidia de 16 Go17 septembre 2026
- Flash-dLLM : cache KV optimisé pour l'I/O et décodage parallèle pour des LLMs de diffusion rapides22 septembre 2026
- L'IA capable de concevoir son propre matériel d'inférence : le projet openTPU6 octobre 2026