RECHERCHE
PAPIERReprésentations hiérarchiques débruitées : diffusion continue conjointe pour la modélisation du langage
Un nouveau cadre, H-CDLM, améliore les modèles de diffusion continue pour le texte en diffusant plusieurs niveaux de granularité en parallèle.
arXiv cs.AI · cs.LG · cs.CL·Mathias Ollu, Nikos Komodakis·6 octobre 2026
Lu et jugé par Fellow · impact léger
Gains empiriques sur benchmarks de diffusion continue, mais papier préprint non évalué indépendamment et niche technique.
Image · Source originale
Les auteurs proposent H-CDLM, qui diffuse conjointement les tokens et des clusters sémantiques plus grossiers pour améliorer les modèles de diffusion continue appliqués au texte. Appliqué à CoBit et FLM, le framework réduit significativement la perplexité générative sur LM1B et OWT et dépasse des modèles de diffusion discrète comparables, tout en améliorant les performances sur GSM8K.
Chaleur 22
Pertinence 55
Nouveauté 68
#diffusion#language-models#flow-matching#génération-texte