Inférence
Fellow suit ce sujet depuis avril 2026 : 168 articles résumés en français, dont 47 jugés majeurs ou notables.
Toute l'actualité · 168 articles
Reame – un serveur d'inférence CPU qui s'accélère au fil du temps
Reame est un serveur d'inférence tournant sur CPU qui optimise ses performances dynamiquement à mesure qu'il traite des requêtes.
Les entreprises face à l'explosion des coûts liés à l'IA
Alors que les dépenses en IA s'envolent, les organisations cherchent en urgence des stratégies pour maîtriser des factures de plus en plus difficiles à justifier.
Co-conception matérielle : comment concevoir des LLM adaptés au hardware
NVIDIA détaille comment les choix d'architecture d'un LLM influencent directement le débit de tokens et la latence perçue par l'utilisateur.
Backend de modélisation transformers à vitesse native pour vLLM
Hugging Face intègre un backend transformers natif dans vLLM, permettant d'atteindre des vitesses d'inférence optimales sans surcoût de conversion.
DepthWeave-KV : compression adaptative du cache KV par factorisation résiduelle inter-couches
Une nouvelle méthode réduit jusqu'à 8,3× la mémoire du cache KV des LLMs en contexte long, sans réentraîner le modèle de base.
FreqDepthKV : compression du cache KV guidée par la fréquence et la profondeur pour l'inférence LLM longue
Une nouvelle méthode de compression du cache KV à l'inférence divise les états en composantes basse fréquence partagées et résidus haute fréquence, sans réentraînement.
Abandon précoce des épisodes d'agents LLM par cascade de sondes à rappel contrôlé
Des chercheurs montrent que l'échec d'un agent LLM est prévisible dès le premier tour via ses représentations internes, permettant d'économiser jusqu'à 47 % du calcul d'inférence.
Frugon : identifier quels appels LLM pourraient être traités par un modèle moins coûteux
Un outil open-source MIT pour analyser ses logs d'appels LLM et repérer les requêtes qui ne nécessitent pas un modèle coûteux.
Optimisation de l'inférence pour MiMo v2.5 : maximiser l'efficacité du Hybrid SWA
Xiaomi détaille les techniques d'optimisation d'inférence de son modèle MiMo v2.5, centré sur l'architecture Hybrid Sliding Window Attention.
Prix des tokens en chute, régulation en hausse : le pouvoir de tarification de l'IA fragilisé
Alors que le coût des tokens s'effondre et que les régulateurs resserrent leur emprise, la capacité des acteurs de l'IA à maintenir leurs marges est remise en question.
H Company optimise la gestion VRAM
La startup H Company dévoile des techniques d'optimisation mémoire pour réduire la consommation VRAM.
OpenAI et Broadcom dévoilent Jalapeño, une puce d'inférence optimisée pour les LLM
OpenAI et Broadcom annoncent conjointement Jalapeño, un chip IA personnalisé conçu spécifiquement pour l'inférence de grands modèles de langage.
L'IPO de Cerebras valorisée à 60 milliards de dollars
Après un premier S-1 retiré et un partenariat stratégique avec OpenAI, Cerebras entre en bourse avec une capitalisation de 60 milliards de dollars.
La fin du fine-tuning ? OpenAI déprécie ses APIs et relance le débat
La dépréciation des APIs de fine-tuning d'OpenAI ravive une question centrale : le fine-tuning est-il en train de disparaître du toolkit des ingénieurs IA ?
Gemma 4 accéléré : inférence plus rapide grâce aux multi-token prediction drafters
Google dévoile une technique de multi-token prediction pour Gemma 4, réduisant la latence d'inférence sans dégradation de qualité.
Sharp d'Apple tourne dans le navigateur via ONNX Runtime Web
Un développeur fait tourner le modèle de super-résolution Sharp d'Apple directement dans le navigateur grâce à ONNX Runtime Web.
La tarification des LLM n'a jamais eu de sens
Un article d'opinion décortique les incohérences structurelles des modèles de prix pratiqués par les fournisseurs de LLM.
Moonshot AI publie Kimi-Linear-48B-A3B-Base
Un modèle 48B en open-weights optimisé pour l'efficience.