Show HN : Capy-flash, un modèle MoE de 125 Md de paramètres sur deux GPU grand public de 16 Go

Ce moteur d'inférence fait tourner Qwen3.8-Flash-Next (125B MoE) en NVFP4 sur deux RTX 5070 Ti de 16 Go, avec une API compatible OpenAI et Anthropic pensée pour les agents.

ValerioDolci sur GitHub·repéré via Hacker News·16 octobre 2026

Lu et jugé par Fellow · impact notable

Moteur open source installable, avec benchmarks comparatifs sur matériel précis, qualité mesurée (GSM8K, MMLU-Pro) et poids publiés ; avance réelle mais mono-machine et de niche.

Verdict rendu par une IA selon une grille publique

Show HN : Capy-flash, un modèle MoE de 125 Md de paramètres sur deux GPU grand public de 16 Go

Image · Source originale

Capy-flash, fork tensor-parallel à deux GPU de ninfer, sert Qwen3.8-Flash-Next (125B MoE) en NVFP4 sur deux GPU de 16 Go ; les experts hors VRAM résident en RAM et sont calculés sur CPU. Sur 2x RTX 5070 Ti, il affiche 3 778 tok/s en prefill (prompt de 15k tokens) et 100,8 tok/s en génération, face à Strata. Il a réussi 20 tâches de code multi-étapes sur 20, sans appel d'outil malformé sur 1 124, et sert aussi Qwen3.8-27B.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

Chaleur 47

Pertinence 62

Nouveauté 55

OUVRIR LA SOURCE ↗

#inférence #MoE#NVFP4#open-source #agents

Show HN : Capy-flash, un modèle MoE de 125 Md de paramètres sur deux GPU grand public de 16 Go

Lu et jugé par Fellow · impact notable

À lire aussi