Inférence
Fellow suit ce sujet depuis avril 2026 : 168 articles résumés en français, dont 47 jugés majeurs ou notables.
Toute l'actualité · 168 articles
Une base de données de recherche et d'inférence codée en Zig pur
Un développeur détaille la construction d'une base de données combinant recherche et inférence, entièrement écrite en Zig, sans dépendances externes.
La révolution du hardware d'inférence en 2026
L'analyse des tendances matérielles qui redéfiniront l'exécution des modèles d'IA d'ici 2026.
RoofLang : architecture de systèmes d'inférence LLM pilotée par l'IA
Un langage spécifique pour automatiser et optimiser la conception des infrastructures d'inférence de grands modèles de langage.
Transport discret de Beckmann pour le langage en une étape
Une nouvelle approche par transport discret pour la génération de langage en une étape sans distillation.
D-Matrix dévoile Raptor, un accélérateur 3D-DRAM pour l'inférence générative
Présenté à Hot Chips 2026, ce nouveau processeur promet d'accélérer l'inférence des modèles génératifs grâce à une architecture mémoire 3D-DRAM innovante.
Réinventer la désagrégation de systèmes hétérogènes pour l'attention sous-quadratique
Le système SQD améliore le débit et l'efficacité énergétique des LLM en optimisant la répartition des tâches sur du matériel hétérogène.
Optimisations NIM : x2.5 utilisateurs sur Nemotron 3 Ultra
NVIDIA explique comment son stack NIM maximise la concurrence sur GPU pour les workloads d'IA agentic.
NVIDIA BioNeMo Runtime pour la prédiction de structure
BioNeMo Inference Runtime accélère la prédiction de structures biomoléculaires à grande échelle sur GPU.
LRU reste plus difficile à surpasser que ne le suggèrent les papiers sur le KV-cache
Un dépôt GitHub questionne les gains réels des stratégies récentes de cache KV face à la simple politique LRU.
Quand utiliser la désagrégation encode-prefill-decode pour accélérer le serving de modèles multimodaux
NVIDIA détaille une technique d'optimisation d'inférence qui sépare l'encodage visuel du prefill et du decode, avec des gains jusqu'à 5x.
Inférence sans vraisemblance avec paramètres nuisibles via normalizing flows
Une méthode décompose les normalizing flows pour isoler des statistiques pivots robustes aux paramètres nuisibles.
Inception Labs lance Mercury 2.5
Nouveau modèle textuel optimisé pour le temps réel et l'efficacité.
Le décodage spéculatif arrive dans vLLM sur GPU AMD
vLLM ajoute le support du décodage spéculatif pour les GPU AMD, promettant une accélération de l'inférence LLM sur cette plateforme.
Avenir de llama.cpp après l'acquisition d'HuggingFace par Nvidia
Georgi Gerganov réagit à l'acquisition d'HuggingFace par Nvidia et évoque l'impact sur le développement futur de llama.cpp et ggml.
Qwen 3.8 27B disponible sur Cerebras à 1500 tok/s
Le modèle Qwen 2.5 72B est désormais proposé sur l'inférence Cerebras, atteignant une vitesse de 1500 tokens par seconde.
Para-Pipe : parallélisme hiérarchique sur SoC
Un nouveau cadre exploite le parallélisme des opérateurs sur les SoC hétérogènes pour optimiser latence et débit.
NVIDIA PAIR : un routeur d'inférence virtuel pour mutualiser le calcul sur le réseau local
NVIDIA présente PAIR, un système qui répartit l'inférence entre appareils d'un même réseau pour soutenir les workflows multi-agents.
NVIDIA détaille l'accélération de l'inférence LLM via le decoding spéculatif
Troisième volet d'une série sur le co-design de modèles IA, avec cinq règles pratiques pour choisir la longueur et le mécanisme de draft.
La frontière d'efficacité de l'inférence LLM
Baseten explore les compromis entre coût, latence et débit pour optimiser le déploiement des LLM en production.
Comment dimensionner ses GPU pour l'inférence IA et maîtriser son TCO sans surinvestir
NVIDIA propose une méthode pour calibrer les ressources GPU d'inférence face aux contraintes de latence, de trafic et de budget.
Fal H3 Max Live brise la barrière de la vidéo infinie
Une optimisation d'inférence 35x plus rapide permet désormais le streaming vidéo génératif en temps réel et interactif.
Redesign du Chip d'Inférence : des limites du GPU à l'OpenAI Jalapeño
Analyse technique des défauts des GPU Nvidia pour l'inférence et présentation de l'architecture du processeur OpenAI Jalapeño.
NVIDIA TensorRT Model Connect : déploiement en 2 commandes
NVIDIA simplifie le déploiement de modèles open via TensorRT Model Connect, automatisant conversion et runtime.
Benchmark du raisonnement sur mobile
Une analyse comparative de la performance des modèles d'IA sur smartphones, processeurs et NPU.
Hot Chips : OpenAI Jalapeño, Cerebras CS-5, Groq 3 LPX, Apple M6
OpenAI dévoile son puce inference Jalapeño, surpassant NVIDIA en efficacité énergétique lors de la conférence Hot Chips.
Sortie de GLM-5.3-Flash
Zhipu AI lance son nouveau modèle Flash, optimisé pour la latence et l'efficacité.
Un modèle de 8,6 Go limité à 7 requêtes par seconde
L'analyse détaillée des goulets d'étranglement qui entravent le débit d'inférence.
NVIDIA Dynamo : rétablissement rapide de l'inférence LLM
NVIDIA Dynamo intègre une fonctionnalité de récupération 'shadow engine' pour restaurer les capacités d'inférence en quelques secondes.
Jalapeño : OpenAI dévoile les premiers résultats de sa puce d'inférence IA
OpenAI présente les performances de Jalapeño, sa puce maison, avec des gains annoncés en vitesse et en efficacité énergétique pour l'inférence.
Un LPU éducatif pour l'inférence de MicroGPT
Présentation d'une version hardware légère de LPU capable d'exécuter l'inférence de MicroGPT.
Nvidia et le pari à 20 milliards de dollars sur les LPU Groq 3 : que disent les premiers benchmarks ?
Les premiers résultats de performance des puces Groq 3 apportent des indices, mais laissent aussi de nombreuses questions sans réponse sur l'investissement massif de Nvidia.
Nvidia annonce la production en série du Groq 3 LPX, puce dédiée à l'IA agentique
Une nouvelle puce présentée comme offrant une vitesse d'inférence de pointe pour les workloads d'agents IA entre en production à grande échelle.
NVIDIA : Vera Rubin et Blackwell établissent un nouveau standard de performance par watt pour l'IA agentique
Face à l'explosion des workflows agentiques multi-étapes, NVIDIA met en avant l'efficacité énergétique de ses puces Vera Rubin et Blackwell.
NVIDIA Groq 3 LPX : ultra-rapidité et long contexte sur Vera Rubin
NVIDIA dévoile le processeur Groq 3 LPX pour l'accélération de l'inférence interactive sur la plateforme Vera Rubin NVL72.
Xiaomi AI Cube et Xring O100 : 1,22 To/s, 330 tokens/s pour un LLM local de 120B
Xiaomi dévoile un appareil dédié à l'IA locale capable de faire tourner un modèle de 120 milliards de paramètres à 330 tokens/s.
Pourquoi votre LLM local semble plus bête qu'il ne l'est réellement
Un article de forum décortique les réglages techniques négligés qui plombent silencieusement les performances des LLM exécutés en local.
LFM2.5-DSpark : jusqu'à 3,2x d'inférence plus rapide, du H100 au MacBook
Liquid AI dévoile LFM2.5-DSpark, une nouvelle version de son modèle optimisée pour accélérer l'inférence sur une large gamme de matériel.
E²-TTT : réconcilier expressivité et efficacité en Test-Time Training
Une nouvelle méthode TTT par blocs concilie expressivité dynamique et parallélisation matériel, tout en améliorant l'extrapolation de longueur.
NVIDIA DSX MaxLPS : optimiser la performance par watt des usines à IA
Nvidia présente une approche pour maximiser le rendement énergétique des data centers dédiés à l'inférence IA, où le mégawatt devient la ressource critique.
Router des modèles d'IA comme le problème de la boîte de Pandore
Un nouveau cadre théorique optimise l'allocation des requêtes entre modèles IA en arbitrant entre estimation coûteuse et rapidité.
Ensembles de confiance à support physique pour dictionnaires fortement cohérents
Une méthode statistique pour garantir la fiabilité physique du support obtenu par sparse pursuit, même quand le dictionnaire appris est ambigu.
Jie Tang (Z.ai) : la fin des paramètres et lois de post-training
Le CEO de Z.ai explique pourquoi le nombre de paramètres ne suffit plus et présente GLM 5.3.
Unsloth lance le format dynamique 3.0 GGUF
Nouveau format GGUF dynamique 3.0 pour optimiser l'inférence locale et l'efficacité des modèles.
Les puces Cerebras rivalisent avec les GPU Nvidia pour l'IA
Une analyse vidéo des performances des processeurs Cerebras face aux dominantes solutions graphiques de Nvidia.
Cerebras dévoile le CS-4, sa nouvelle puce pour l'inférence IA
Le fabricant de puces spécialisées annonce la prochaine génération de son système de calcul dédié à l'IA à grande échelle.
DFlash 2 : génération de texte en parallèle
DFlash 2 accélère le drafting en exploitant le parallélisme pour améliorer la latence.
Optimiser l'échantillonnage : calibrage des schémas de diffusion par optimisation bayésienne
Une méthode qui optimise directement les pas d'échantillonnage des modèles de diffusion, sans entraînement supplémentaire, pour accélérer la génération jusqu'à 10x.
NVIDIA détaille le développement de Nemotron 3.5 Lightning NVFP4 avec la quantification QAD
Un nouveau checkpoint compressé à 22 Go, contre 66 Go en pleine précision, promet jusqu'à 4x plus de débit sans perte de précision.
Sortie de llama.cpp v0.1.0
Georgi Gerganov publie la version initiale de llama.cpp, portant l'inférence LLM sur CPU.
Une solution simple pour la latence de queue des LLM
Optimiser l'inférence LLM pour lisser les pics de latence et garantir une expérience utilisateur fluide.