Lithos-metal : Qwen3.8-27B à 168 tokens/s sur un M5 Max 40 cœurs

Titre à nuancer : Le titre présente 168 tokens/s comme une performance obtenue, alors que le README parle d'une projection du calcul cible (6 tokens acceptés par passe), hors drafting et rewind, et non d'un débit mesuré.

Ce moteur d'inférence open source génère des megakernels Metal pour Apple silicon et sert des LLM en local, avec des lanceurs pour agents de code comme opencode, Claude ou Codex.

lithos-ai sur GitHub·repéré via Hacker News·17 octobre 2026·à 6 h 06

Lu et jugé par Fellow · impact léger

Moteur d'inférence open source installable pour Apple silicon, mais le chiffre de 168 tokens/s est une projection de calcul cible, pas un débit mesuré de bout en bout ; portée limitée aux Mac récents.

Verdict rendu par une IA selon une grille publique

Lithos-metal : Qwen3.8-27B à 168 tokens/s sur un M5 Max 40 cœurs

Image · Source originale

lithos-metal est un moteur d'inférence entièrement open source qui génère des megakernels Metal pour Apple silicon. Il combine megakernels par couche, contrôle de génération résident sur GPU et speculative decoding DSpark. Installable via Homebrew, il expose des API compatibles Chat Completions, Responses, Anthropic Messages et Ollama. Qwen3.8-27B et Qwen3.6-35B-A3B ont été testés sur un M5 Max 40 cœurs avec 48 Go de mémoire unifiée.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗

#inférence-locale#apple-silicon#metal#speculative-decoding#open-source

Lithos-metal : Qwen3.8-27B à 168 tokens/s sur un M5 Max 40 cœurs

Lu et jugé par Fellow · impact léger

À lire aussi