Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


OUTILS
OUTILVerdict : léger

Compresser n'importe quel LLM par 3 en un clic, quasi sans perte, avec moins de 50 Mo de RAM

SPECTRA, un moteur de compression 4 bits et runtime de serving GPU, vise à faire tourner des LLM de 4B paramètres sur des GPU de 4 Go de VRAM, avec un facteur de compression annoncé de 3,3x.

NeuraCryption sur GitHub·repéré via Hacker News·11 novembre 2026

Lu et jugé par Fellow · impact léger

Dépôt open source livrant code et modèles pré-compressés, mais benchmarks auto-publiés sur un seul GPU, sans évaluation indépendante ; la portée reste celle d'un outil de quantification parmi d'autres.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
SPECTRA est un moteur de compression 4 bits agnostique à l'architecture et un runtime d'exécution GPU, conçu pour les GPU grand public et edge. Sur une RTX 3050 Ti Laptop (4 Go), le projet annonce une réduction de VRAM de 68,5 %, jusqu'à 82,5 tokens/s et une compression de 2 à 4 minutes pour des modèles de 1,5B à 4B, sans jeu de calibration. Il prend en charge les Transformers denses, MoE, Mamba-2 et ConvNets, et annonce 35,58 % sur ARC-Challenge contre 34,73 % pour la baseline BF16.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#quantization#compression#edge#open-source#GPU

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi