Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : léger

Apprendre quand les modèles de langage à diffusion doivent régénérer leur texte

DiVR, un vérificateur entraîné sur les trajectoires du modèle, décide quand régénérer un bloc et quelle alternative garder, faisant passer la précision moyenne de 35,3 % à 43,4 %.

arXiv·Minhae Oh, Jeonghye Kim, Jinwoo Koo, Yeongoon Kim·12 novembre 2026

Lu et jugé par Fellow · impact léger

Méthode de vérification pour modèles de diffusion avec gains chiffrés (35,3 % à 43,4 %) sur cinq benchmarks, mais sur un seul modèle de base, sans réplication indépendante ni déploiement.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Apprendre quand les modèles de langage à diffusion doivent régénérer leur texte
Image · Source originale
Le remasking permet aux modèles de langage à diffusion de revenir sur le texte généré, mais encore faut-il savoir quand et quoi corriger. Sur Sudoku, les états cachés contiennent une information d'erreur que la confiance des tokens n'expose pas de façon fiable, et remasquer une erreur isolée la reproduit généralement. DiVR prédit si une séquence partielle mènera à une réponse correcte, sans modifier le générateur. Avec LLaDA-8B-Base sur cinq benchmarks de raisonnement, la précision moyenne passe de 35,3 % à 43,4 % pour 1,9 à 3,5 fois le coût du décodage glouton, contre 3,8 à 7,4 fois pour les baselines de recherche. La méthode complète le SFT et le RL et se généralise à Dream.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#diffusion-llm#remasking#verifier#reasoning#LLaDA

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi