Inférence
Fellow suit ce sujet depuis avril 2026 : 168 articles résumés en français, dont 47 jugés majeurs ou notables.
Toute l'actualité · 168 articles
Cerebras accélère GPT-5.6 Sol Ultrafast en partenariat avec OpenAI
Cerebras annonce une collaboration avec OpenAI pour exécuter une variante rapide de GPT-5.6 sur son infrastructure spécialisée.
DARTree : speculative decoding par diffusion et arbres
Cette méthode sans entraînement accélère les LLM via des arbres de candidats parallèles, dépassant les vitesses des approches classiques.
DeepMind dévoile Gemini 3.7 Flash
Le nouveau modèle léger de Google optimisé pour la latence et le coût généralise la fonctionnalité de génération d'audio natif.
OpenAI dévoile le mode Ultrafast avec GPT-5.6 Sol
Le nouveau tier API Ultrafast propulse GPT-5.6 Sol à une vitesse 14 fois supérieure via l'infrastructure Cerebras.
IA4IA à l'inférence : transfert de capacités fort vers faible
Un modèle puissant peut-il booster un modèle faible à l'inférence sans entraînement ?
Mistral AI annonce l'inférence en région, des modèles ouverts et de nouvelles infrastructures en Europe
Mistral renforce son offre d'IA souveraine avec de l'inférence localisée, des modèles open-weights et de nouveaux datacenters européens.
H3.c : inférence native pour MiniMax-H3 sur Apple Silicon
Un nouveau projet open source signé antirez permet de faire tourner le modèle MiniMax-H3 directement sur puces Apple, sans dépendances lourdes.
Self-Hosted Inference for Agents
Inférence auto-hébergée optimisée pour les agents IA via Sie.
Hetzner lance une API d'inférence
Le fournisseur cloud allemand propose une plateforme expérimentale pour exécuter des modèles LLM.
Le retour du CPU : repenser la répartition CPU/GPU pour l'inférence LLM
Red Hat explore comment optimiser l'inférence des LLM en rééquilibrant les rôles respectifs des processeurs centraux et graphiques.
CoBa : un routage à budget de calcul équilibré pour un test-time scaling plus économique
Une nouvelle politique de routage arbitre entre génération, vérification et arrêt pour réduire fortement le coût du raisonnement à l'inférence sans perte de précision.
Le B200 surpasse le LPU et rivalise avec Cerebras par logiciel
Une optimisation logicielle permet à un seul B200 de battre l'unité LPU et d'approcher les performances Cerebras en inference.
Dans les entrailles de vLLM : anatomie d'un système d'inférence LLM à haut débit
Une analyse technique détaillée de l'architecture de vLLM, moteur d'inférence open-source devenu référence pour servir des LLM à grande échelle.
AMD acquiert Taalas pour graver les modèles IA dans le silicium
Le fondeur américain rachète la startup Taalas afin d'optimiser l'inférence via l'intégration matérielle directe des réseaux de neurones.
Baseten intégré aux Inference Providers de Hugging Face
Hugging Face intègre Baseten à son catalogue de fournisseurs d'inférence, facilitant le déploiement de modèles.
Modèles de langage récursifs chaînés pour raisonnement multi-itérations
Une méthode d'infrastructure découpe le raisonnement long en étapes indépendantes pour limiter la propagation d'erreurs.
Megakernels : morts puis ressuscités, le débat repart sur l'ingénierie d'inférence
Une discussion animée sur les megakernels relance le débat technique sur l'optimisation des kernels pour l'inférence des modèles.
Mixture-of-Kittens : le megakernel MoE open source de Cursor pour NVL72
Cursor publie un megakernel optimisé pour les architectures Mixture-of-Experts sur clusters NVIDIA NVL72, en open source.
Mémoire structurée pour LLM Edge : injection O(1)
PRECOG et SMC exploitent les SSMs pour un RAG en O(1), éliminant le coût de prefill des Transformers.
Show HN : faire tourner un Qwen 80B dans 4,3 Go de RAM sur Mac, et un 35B sur iPhone
Un projet open source promet d'exécuter des LLM massifs sur du matériel Apple grâce à une gestion mémoire optimisée, sans exploser la RAM disponible.
AirLLM : faire tourner un modèle 70B sur un seul GPU de 4 Go
Une bibliothèque open source permet l'inférence de modèles à 70 milliards de paramètres sur du matériel grand public à mémoire très limitée.
Faire tourner Kimi K3 sur MI355X : un meilleur rapport performance-prix que sur B300
Un benchmark montre que les GPU MI355X d'AMD surpassent les B300 de Nvidia en performance par dollar pour l'inférence du modèle Kimi K3.
NVIDIA repense l'attention pour accélérer l'inférence à contexte long
Face à la montée des workloads agentiques et à contexte long, NVIDIA plaide pour une co-conception de l'attention et du hardware GPU.
Réplication spéculative de KV pour l'inférence LLM par pics
Une méthode de réplication prédictive du cache KV optimise l'inférence lors des pics de charge.
TokTier : tokenisation avec état exacte pour serveurs d'agents LLM
Un service de tokenisation avec état qui élimine la répétition coûteuse pour les agents, accélérant le traitement jusqu'à 437x.
Pourquoi LocalAI développe ses propres moteurs d'inférence en C++
LocalAI explique les raisons techniques et stratégiques de l'écriture de moteurs C++ dédiés à l'inférence.
Exécution d'un LLM autorégressif sur processeur 6502
Un projet démontre la faisabilité de faire tourner un modèle BitNet sur le microprocesseur 6502.
GPT 5.6 : coûts divisés par 13 via auto-optimisation
OpenAI révèle que GPT 5.6 a réduit ses propres coûts d'infrastructure grâce à l'optimisation autonome de kernels et speculative decoding.
Pourquoi le computing pourrait coûter 10 fois plus cher
L'analyse économique de la flambée des coûts de calcul pour les labs d'IA face à la croissance des revenus.
GPT-5.6 : l'alliance de l'intelligence frontier et de l'efficacité
OpenAI dévoile GPT-5.6, optimisant l'efficacité de l'inférence et des workflows agents pour maximiser l'intelligence par dollar.
Attention decode sur GPU AMD MI450 : guide d'optimisation de kernels Gluon
AMD publie un guide technique détaillant l'optimisation de kernels d'attention decode via Gluon sur ses futurs accélérateurs MI450.
Vitesses d'inférence LLM mesurées sur Apple Silicon, données brutes publiées
Un benchmark indépendant compile des mesures de performance d'inférence LLM sur puces Apple Silicon, données publiées sous licence CC BY 4.0.
Kimi K3 disponible via l'API d'inférence Telnyx
Le modèle Kimi K3 est désormais accessible au travers de l'API d'inférence de Telnyx.
Denial of Deadline : effondrement de la précision en pipeline distribué
Une attaque par charge de travail peut dégrader la précision des systèmes d'inférence distribué en exploitant la contention réseau.
Que se passe-t-il en coulisses quand on modifie le niveau d'effort d'un même modèle LLM ?
Une discussion technique explore ce que recouvre réellement le paramètre 'effort' proposé par certains fournisseurs de LLM.
AMD et Cerebras lancent une solution d'inférence IA
Un partenariat pour une inférence ultra-rapide à haut débit.
Hetzner développerait une offre d'inférence LLM
L'hébergeur allemand Hetzner, connu pour ses serveurs bon marché, préparerait un service d'inférence de modèles de langage.
Nunchaku : inférence 4-bit pour diffusion dans Diffusers
Hugging Face intègre Nunchaku pour accélérer l'inférence Stable Diffusion via la quantification 4-bit.
NVIDIA rend les compilations de moteurs TensorRT observables et annulables en Python et C++
NVIDIA ajoute un suivi de progression et une annulation à la volée pour les longues compilations de moteurs TensorRT.
PyroDash : inférence collaborative token par token entre petits et grands modèles de langage
Un framework où un petit modèle décide lui-même quand solliciter un LLM, réduisant fortement les coûts d'inférence sans sacrifier la précision.
Google mise l'avenir de son inférence sur une puce conçue pour un seul modèle
Google grave son architecture Gemini directement dans le silicium, un pari risqué mais potentiellement décisif pour l'inférence à grande échelle.
FlashRT : un agent qui optimise le déploiement d'applications multimodales temps réel
Un nouveau framework guide des agents de codage pour transformer des implémentations de référence en déploiements multi-GPU optimisés, avec des gains massifs de latence.
Contrôler l'effort de raisonnement dans les LLM
Analyse technique des méthodes pour optimiser les ressources de calcul.
PagedWeight : servir les LLM MoE efficacement grâce à une quantification dynamique adaptée à la qualité
Une nouvelle méthode de gestion mémoire pour les modèles MoE promet jusqu'à 72% d'économies GPU sans perte de précision.
Inférence CIFAR-10 en chiffrement homomorphe réalisée en 200 ms
Un projet démontre une inférence de classification d'images entièrement chiffrée, avec un temps de calcul ramené à 200 millisecondes.
Exécution de Gemma 4 26B à 5 tok/s sur un Xeon sans GPU
Inférence d'un modèle 26B sur du matériel obsolète via optimisation logicielle.
LatentFlow : un cadre général pour conditionner des processus stochastiques
Une méthode sans apprentissage pour conditionner divers modèles stochastiques complexes via des SDE rétrogrades.
Un moteur d'inférence C/CUDA performant pour Qwen 3.6 35B sur RTX 5090 / Blackwell
Un projet open source propose un moteur d'inférence bas niveau optimisé pour faire tourner Qwen 3.6 35B sur les GPU Blackwell.
Ce qui se passe entre la saisie du prompt et l'apparition du premier mot
Un article pédagogique détaille la mécanique interne des LLM, du tokenisation à la génération du premier token en sortie.
Mesh LLM : l'inférence IA distribuée sur le réseau iroh
Iroh propose une architecture peer-to-peer pour faire tourner des LLM en distribué, sans infrastructure centralisée.