Inférence

Nouveau modèle API réellement disponible (Haiku 5.5) avec tarifs concrets (0,10$/0,50$ input, 0,50$/2,50$ output), baisse de 75% du coût d'exécution vs Haiku 4.5, et baisse simultanée des prix de Sonnet 5.5 (cache reads -50%), changement effectif de capacité et de rapport qualité/prix pour les…

Une optimisation matérielle et logicielle prouvée permet de générer de la vidéo plus vite qu'elle n'est regardée, changeant la nature du streaming.

OpenAI a livré des benchmarks précis (1.5–1.9× par watt, latence -3.6×) et une date de déploiement fin 2026.

Performance mesurée et vérifiée par un tiers (Artificial Analysis) à 3 431 tokens/s sur 100K de contexte.

Première version d'un outil standard permettant l'inférence LLM sur CPU grand public par quantization.

Modèle disponible avec tarifs annoncés et benchmarks chiffrés sur tâches critiques.

NVIDIA présente le Global Performance Tuner pour TensorRT et rappelle que déployer un réseau de neurones est un problème de compilation, avec de multiples solutions valides.

CausalCoT décompose un problème en graphe acyclique de sous-questions évaluées dans des contextes isolés, afin que le raisonnement intermédiaire influence réellement la réponse finale.

Des chercheurs proposent une méthode en deux étapes, avec stochastic depth au pré-entraînement puis BeNice! en post-training, pour partager le KV-cache entre récurrences des architectures bouclées.

NVIDIA permet de relier davantage de nœuds DGX Spark afin de faire tourner, depuis un poste de travail, des architectures frontier exigeant des centaines de gigaoctets de mémoire.

L'équipe Dharma-AI présente VocabX, une méthode qui reconstruit le vocabulaire d'un SLM selon le coût de chaque token et non sa fréquence, sans changer le modèle de base.

Un nouveau moteur d'inférence baptisé Kapitsa, optimisé pour Apple Silicon, annonce 160 tokens par seconde avec Qwen 35B sur une puce M4 Pro.

Des chercheurs proposent AMTP, un contrôleur léger qui choisit en ligne l'horizon de brouillon en MTP, sans réentraînement et sans modifier le vérificateur exact, pour accélérer le décodage.

DeepSeek ouvre le code de DeepInfer, le framework d'inférence de ses services en production : kernels optimisés, parallélisme MoE, sampling déterministe et sorties structurées.

Le speculative decoding n'économise pas de calcul : il en exécute davantage. Son gain vient du type de travail demandé au GPU, qui passe d'un régime memory bound à un usage plus intensif du calcul.

L'équipe vLLM a bâti, avec l'aide d'agents de code, un chemin de décodage CuTe DSL pour Kimi K3 sur GB300 : plus de 840 tokens/s à batch 1 sur 16 GPU, et un nouveau cadre de revue.

Une étude montre que la vérification relâchée du décodage spéculatif accepte plus de tokens par tour mais allonge les complétions, annulant en grande partie les gains de vitesse apparents.

Une implémentation CUDA d'un bloc Transformer de type Llama pour GPU Hopper combine prefill en FP8 et decode en INT4, avec des gains mesurés sur H100 face à PyTorch.

Ce moteur d'inférence fait tourner Qwen3.8-Flash-Next (125B MoE) en NVFP4 sur deux RTX 5070 Ti de 16 Go, avec une API compatible OpenAI et Anthropic pensée pour les agents.

Apple montre comment faire tourner localement Muse Spark Open, modèle de 816 milliards de paramètres, grâce à la dernière version de MLX et à RDMA sur Thunderbolt entre plusieurs Mac Studio.

Apple propose SSR, un cadre qui remplace le raisonnement libre des agents multimodaux par une sélection parmi des candidats prédéfinis, pour réduire le coût d'inférence des petits modèles.

Une méthode sans réentraînement transforme des transformers pré-entraînés en un modèle unique, ajustable à la volée selon le budget de calcul, avec une dégradation progressive jusqu'à 60 % de sparsité.

Des chercheurs d'Apple présentent Minions, un système qui agrège les GPU inactifs d'appareils macOS pour exécuter de l'inférence de machine learning à grande échelle.

Ce moteur d'inférence en C diffuse les experts des modèles MoE depuis le SSD et revendique 24 tok/s en génération sur Qwen3-Next-80B avec 32 Go de mémoire, contre 2,8 pour llama.cpp.

Cloudflare présente Clef-Omni, une version pleinement multimodale de sa famille de modèles, accompagnée d'un Clef plus rapide et d'une variante Clef-flash à moindre coût.

Le nouveau modèle compact d'Anthropic promet des performances proches de Sonnet 4.5 à un coût et une latence réduits, ciblant les usages à fort volume.

Analyse chiffrée de l'infrastructure GPU nécessaire pour servir des volumes de tokens à l'échelle du million, du milliard et du billion.

Un projet open source explore comment des modèles d'IA peuvent contribuer à la conception de puces dédiées à l'inférence.

Un projet open source promet d'exécuter un modèle de 125 milliards de paramètres sur une seule RTX 4090, à haute vitesse.

Le projet Debian publie un portail dédié à l'inférence de modèles d'IA, pensé pour s'intégrer à son écosystème logiciel libre.

DeepSeek publie une version allégée de son modèle V4.1, axée sur l'optimisation de la mémoire KV cache pour des déploiements plus efficaces.

NVIDIA détaille le déploiement de systèmes de recommandation génératifs HSTU, qui transforment la recommandation en modélisation séquentielle.

Une jeune pousse issue du programme YC S25 présente un moteur d'inférence qui s'optimise automatiquement pour les workflows d'agents IA.

NVIDIA détaille comment travail parallèle, isolation par famille de modèles et validation GPU ont façonné ce projet open source pensé pour les agents de code.

Une méthode sans entraînement permet de quantifier en 8 bits l'état récurrent des architectures à attention linéaire, sans perte notable de qualité.

Une nouvelle méthode réduit l'empreinte mémoire du KV cache en LLM tout en limitant la perte de précision, même à 2 bits.

Un article technique détaille une optimisation du prompt lookup decoding, une méthode de génération accélérée dans llama.cpp.

Un billet technique détaille l'adaptation du modèle GLM-5.3-Flash pour en faire un système de décision rapide inspiré du concept de 'System One'.

Liquid AI publie LFM2.5-VL-DSpark, un modèle vision-langage optimisé par une architecture de sparse mixture-of-experts pour une inférence plus rapide.

Nesbox offre un environnement d'exécution virtualisé ultra-léger et performant, intégrant nativement le passage de contexte GPU pour les charges de travail IA et graphiques.

Le nouveau modèle Mercury 2.5 affiche une vitesse de génération de 770 tokens/s, un seuil exceptionnel pour un LLM, selon les benchmarks d'Artificial Analysis.

Déporter le calcul IA vers l'edge ou le cloud plutôt que de tout faire embarqué améliorerait performance et autonomie des robots.

Un patch d'agent de codage IA peut réussir tous les tests mais échouer une fois le modèle chargé et confronté à de vraies requêtes.

Un framework sans entraînement qui accélère les LLMs de diffusion en s'attaquant au goulot d'étranglement mémoire du cache KV.

Un nouveau benchmark évalue la capacité des agents à implémenter des fonctionnalités d'inférence en production, révélant un écart critique entre succès local et validité réelle.

NVIDIA lance Confidential Computing pour sécuriser l'inférence des LLM en production via des CVMs et GPUs chiffrés, protégeant données sensibles et modèles propriétaires.

Analyse des coûts et de la viabilité économique de l'inférence sur les modèles à poids ouverts, face aux solutions propriétaires.

Les besoins en calcul de l'IA générative dépassent un seul GPU. TensorRT 11.0 permet désormais d'exécuter un réseau sur plusieurs GPU via des collectifs NCCL.

NVIDIA présente AIPerf, un outil pour mesurer rigoureusement la performance d'inférence LLM au-delà des scripts artisanaux.

Installation en un clic pour exécuter un modèle de 27 milliards de paramètres sur du matériel grand public.

Zhipu AI détaille l'architecture technique développée en interne pour servir efficacement ses modèles GLM à grande échelle.

Un décryptage technique de l'architecture de DeepSeek-V4.1 Flash, centré sur ses optimisations agressives de compression du cache clé-valeur.

NVIDIA optimise l'inférence agentic en edge sur Jetson AGX Thor via TensorRT-LLM.

Un framework exploitant les similarités des tâches robotiques pour accélérer l'inférence des modèles Vision-Language-Action.

NVIDIA détaille les compromis entre architectures denses et Mixture-of-Experts, à travers l'exemple de Nemotron 3.5 Lightning.

NVIDIA explique comment l'architecture Groq 3 LPX améliore l'efficacité énergétique et l'interactivité de l'inférence sur sa future plateforme Vera Rubin.