Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


OUTILS
OUTILVerdict : léger

smolmaxxing : faire tourner des LLM sur des appareils petits et anciens

Un projet open source pousse l'inférence de LLM sur box TV, iPad Air de 2013 et autres appareils modestes, avec noyaux personnalisés, pagination des experts depuis la flash et mesures sur matériel réel.

hyperionaidev sur GitHub·repéré via Hacker News·12 novembre 2026

Lu et jugé par Fellow · impact léger

Dépôt open source avec patchs llama.cpp, modèles téléchargeables et mesures sur appareils réels (TV box, iPad 2013) ; portée limitée à un usage de niche, sans reprise par d'autres sources.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Le dépôt smolmaxxing cherche le plus gros modèle exécutable sur chaque appareil, grâce à des noyaux personnalisés, une gestion mémoire optimisée et du weight streaming. Sur une Xiaomi TV Box S, Qwen3.5-0.8B passe de 7,5 à 16,8 tok/s et un MoE de 16B (Ling-mini-2.0) atteint 5,1 tok/s. Un iPad Air de 2013 fait tourner Bonsai-1.7B à 24-26 tok/s et un MoE 16B à 2,6-4,5 tok/s.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#inférence-edge#quantization#MoE#on-device#open-source

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi