Compresser n'importe quel LLM par 3 en un clic, quasi sans perte, avec moins de 50 Mo de RAM
SPECTRA, un moteur de compression 4 bits et runtime de serving GPU, vise à faire tourner des LLM de 4B paramètres sur des GPU de 4 Go de VRAM, avec un facteur de compression annoncé de 3,3x.
Lu et jugé par Fellow · impact léger
Dépôt open source livrant code et modèles pré-compressés, mais benchmarks auto-publiés sur un seul GPU, sans évaluation indépendante ; la portée reste celle d'un outil de quantification parmi d'autres.
Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Show HN : Spinf-serve, un serveur d'inférence pour le scoring et la décision en masse30 octobre 2026
- Huawei publie MACaQ, son outil interne de quantification pour l'inférence locale11 novembre 2026
- Rune : un framework UI Rust natif rendu par GPU pour macOS, Windows, Linux et le web6 novembre 2026
- OpenDLSS : une réimplémentation Vulkan du réseau de neural rendering DLSS 5 de Nvidia30 septembre 2026
- Un cluster d'ESP32-S3 fait tourner un modèle de langage BitNet en 1,58 bit28 septembre 2026
- gpuvis : un outil de visualisation de traces GPU2 octobre 2026