Aller au contenu
Édition du matin · N° 583 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Apprendre quand valider : distillation de plannings pour accélérer les modèles de langage à diffusion

dSpark distille des plannings de démasquage qui privilégient les tokens réduisant l'incertitude des autres positions, pour accélérer l'échantillonnage parallèle des dLLMs.

arXiv·Aidar Myrzakhan, Zhiqiang Shen·26 octobre 2026

Lu et jugé par Fellow · impact léger

Méthode de distillation de plannings pour dLLMs avec gains annoncés (10,12× sur LLaDA-8B, 5,12× sur Dream-7B sur GSM8K) et code publié, mais preprint unique sans réplication indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Apprendre quand valider : distillation de plannings pour accélérer les modèles de langage à diffusion
Image · Source originale
Les dLLMs génèrent plusieurs tokens en parallèle mais nécessitent souvent de nombreux tours de décodage. dSpark construit des plannings de démasquage favorisant les tokens dont la révélation facilite la prédiction des autres positions, puis les distille dans le modèle avec un régularisateur de divergence KL pour préserver la qualité. Sur GSM8K, les gains atteignent 10,12× sur LLaDA-8B-Instruct et 5,12× sur Dream-7B-Instruct par rapport à différentes baselines, avec des performances maintenues. Le code est disponible.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#diffusion-llm#distillation#décodage-parallèle#inférence

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi