Janas : exécuter des LLM plus gros que la RAM en streamant les experts depuis le SSD

Ce moteur d'inférence en C diffuse les experts des modèles MoE depuis le SSD et revendique 24 tok/s en génération sur Qwen3-Next-80B avec 32 Go de mémoire, contre 2,8 pour llama.cpp.

prabanta-dev sur GitHub·repéré via Hacker News·12 octobre 2026

Lu et jugé par Fellow · impact notable

Moteur open source disponible (binaires Linux/Windows) avec benchmarks détaillés et protocole décrit face à llama.cpp, mais mesuré sur une seule machine, projet expérimental et sans vérification indépendante.

Verdict rendu par une IA selon une grille publique

Janas : exécuter des LLM plus gros que la RAM en streamant les experts depuis le SSD

Image · Source originale

Janas est une famille d'outils d'IA écrite en C, dont le moteur Janas-LLM exécute des modèles plus volumineux que la mémoire en lisant les experts depuis le SSD. Sur un laptop Intel Core Ultra 9 185H avec 32 Go de RAM, Qwen3-Next-80B (48,4 Go) atteint 62 tok/s en lecture de prompt et 24 tok/s en génération, contre 16 et 2,8 pour llama.cpp. Janas est plus rapide sur tous les modèles comparés, sauf en lecture de prompt sur Qwen3-30B en 3 bits. Il est disponible pour Linux et Windows x86-64.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

Chaleur 14

Pertinence 72

Nouveauté 68

OUVRIR LA SOURCE ↗

#inférence#llama.cpp#MoE#SSD#local-llm

Janas : exécuter des LLM plus gros que la RAM en streamant les experts depuis le SSD

Lu et jugé par Fellow · impact notable

À lire aussi