Aller au contenu
Édition de la mi-journée · N° 640 · prochaine à 17 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
OUTILS
Verdict : léger

J'ai fait tourner des MoE de 120B sur un M1 Max de 32 Go en utilisant moins de 16 Go

Un prototype de moteur d'inférence garde les experts MoE sur SSD et plafonne la mémoire à 16 GiB. Il fait tourner gpt-oss-120b et Qwen3.5-122B-A10B, et bat TUFF de 36 % sur un Mac.

mitln.github.io·repéré via Hacker News·9 novembre 2026

Lu et jugé par Fellow · impact léger

Prototype à code non publié, benchmarks sur un seul Mac et par l'auteur lui-même (7,84 vs 5,78 tok/s) : résultats intéressants mais non reproductibles ni utilisables par des tiers.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Un développeur présente un prototype de moteur d'inférence qui conserve l'essentiel d'un modèle MoE sur SSD et limite la mémoire du processus à 16 GiB. Sur gpt-oss-120b, il atteint en moyenne 7,84 tokens/s contre 5,78 pour TUFF 10.2.2, soit environ 36 % de plus. L'écart grandit sous charge mémoire concurrente (1,72× avec 4 GiB). Le code n'est pas publié.

Traduit et résumé par IA à partir de l'article de mitln.github.io ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#moe#inférence-locale#apple-silicon#gpt-oss#benchmark

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi