Speculative decoding
Fellow suit ce sujet depuis juin 2026 : 10 articles résumés en français, dont 1 jugé majeur ou notable.
Toute l'actualité · 10 articles
TextSeal2 : watermarking de LLM sans distorsion par copula mixing et courses sans mémoire
TextSeal2 conserve son signal de watermark sous speculative decoding, sans modifier le taux d'acceptation ni la diversité des sorties, et détecte davantage de textes que TextSeal à diversité égale.
Multi-Token Prediction adaptative : jusqu'où aller dans l'horizon de spéculation ?
Des chercheurs proposent AMTP, un contrôleur léger qui choisit en ligne l'horizon de brouillon en MTP, sans réentraînement et sans modifier le vérificateur exact, pour accélérer le décodage.
Pourquoi le speculative decoding est-il rapide ?
Le speculative decoding n'économise pas de calcul : il en exécute davantage. Son gain vient du type de travail demandé au GPU, qui passe d'un régime memory bound à un usage plus intensif du calcul.
Lithos-metal : Qwen3.8-27B à 168 tokens/s sur un M5 Max 40 cœurs
Ce moteur d'inférence open source génère des megakernels Metal pour Apple silicon et sert des LLM en local, avec des lanceurs pour agents de code comme opencode, Claude ou Codex.
Acceptation n'est pas vitesse : l'inflation de longueur dans le décodage spéculatif lossy sans entraînement
Une étude montre que la vérification relâchée du décodage spéculatif accepte plus de tokens par tour mais allonge les complétions, annulant en grande partie les gains de vitesse apparents.
Le décodage spéculatif arrive dans vLLM sur GPU AMD
vLLM ajoute le support du décodage spéculatif pour les GPU AMD, promettant une accélération de l'inférence LLM sur cette plateforme.
NVIDIA détaille l'accélération de l'inférence LLM via le decoding spéculatif
Troisième volet d'une série sur le co-design de modèles IA, avec cinq règles pratiques pour choisir la longueur et le mécanisme de draft.
DARTree : speculative decoding par diffusion et arbres
Cette méthode sans entraînement accélère les LLM via des arbres de candidats parallèles, dépassant les vitesses des approches classiques.
GPT 5.6 : coûts divisés par 13 via auto-optimisation
OpenAI révèle que GPT 5.6 a réduit ses propres coûts d'infrastructure grâce à l'optimisation autonome de kernels et speculative decoding.
GLM-5.2 : le meilleur modèle de coding frontend au monde, et IndexShare pour le Speculative Decoding
Z.ai lance GLM-5.2, un modèle 744B qui dépasse tous les Claude Opus sur le coding frontend et talonne Opus 4.8 au classement général.