Show HN : Spinf-serve, un serveur d'inférence pour le scoring et la décision en masse
Spinf-serve, publié sous Apache 2.0, traite la classification en masse sur un seul GPU 24 Go : le contenu est lu une fois et sert à répondre à plusieurs questions, via une API compatible OpenAI.
Lu et jugé par Fellow · impact léger
Serveur d'inférence open source (Apache 2.0) réellement disponible, avec benchmark reproductible face à vLLM, mais niche (scoring en masse), version 0.1 et sans couverture tierce.
Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- GPU-unlock : débloquer le débit d'instructions FP/BF16 sur les cartes Nvidia série 300024 octobre 2026
- Slughorn : une bibliothèque de graphismes vectoriels sur GPU28 octobre 2026
- Minions : un cloud GPU virtuel distribué bâti sur des appareils Apple Silicon inactifs13 octobre 2026
- Un projet GitHub permet d'exécuter CUDA sur GPU AMD sous Windows13 septembre 2026
- Nesbox : une MicroVM rapide avec partage de GPU24 septembre 2026
- NVIDIA BioNeMo Runtime pour la prédiction de structureNVIDIA · 10 septembre 2026