Aller au contenu
Édition du matin · N° 559 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Multi-Token Prediction adaptative : jusqu'où aller dans l'horizon de spéculation ?

Des chercheurs proposent AMTP, un contrôleur léger qui choisit en ligne l'horizon de brouillon en MTP, sans réentraînement et sans modifier le vérificateur exact, pour accélérer le décodage.

arXiv·Emile Anand, Mohammed Rehan Parwani, Xinyuan Cao·20 octobre 2026

Lu et jugé par Fellow · impact léger

Contrôleur d'horizon MTP sans réentraînement, avec garantie de regret sous-linéaire et gains mesurés (jusqu'à 10 % de débit vs fenêtre fixe, 8 cas sur 10), mais portée limitée à des optimisations de décodage.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Multi-Token Prediction adaptative : jusqu'où aller dans l'horizon de spéculation ?
Image · Source originale
Le papier traite le choix de l'horizon de spéculation en multi-token prediction (MTP) comme un problème de contrôle en ligne. AMTP prédit, avant chaque tour, la survie d'acceptation du brouillon et retient l'horizon maximisant le nombre attendu de tokens par seconde. Les auteurs montrent que l'erreur de prédiction se traduit en regret de débit, sous-linéaire avec la descente de gradient en ligne. Les tests portent sur cinq paires draft-cible fondées sur Llama-3.1-8B-Instruct avec des têtes Medusa.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#multi-token-prediction#speculative-decoding#inférence#Medusa#LLM

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi