Concevoir des Transformers pour les modèles de langage à diffusion continue

LangDiT, un Transformer pensé pour les modèles de langage à diffusion continue, réduit la perplexité de génération et établit un nouvel état de l'art sur OpenWebText.

arXiv·Weijian Luo, Yujian Chen, Hao Jiang, Guang Cheng·15 octobre 2026

Lu et jugé par Fellow · impact léger

Étude d'architecture sur un créneau de recherche étroit (diffusion continue pour le texte), chiffres GenPPL précis sur OpenWebText mais non évalués indépendamment, sans modèle ni code annoncé.

Verdict rendu par une IA selon une grille publique

Image · Source originale

Les auteurs étudient systématiquement les architectures Transformer pour les modèles de langage à diffusion continue (CDLM) et proposent LangDiT, qui combine normalisation des features et des query-key, conditionnement du bruit élargi, routage de gradient et self-conditioning conditionné par la confiance. Avec LangFlow, LangDiT atteint une GenPPL de 21,72 (1024 NFEs) et 44,72 (128 NFEs) sur OpenWebText. Adapté aux formulations de type Plaid, il atteint 11,33 (1024 NFEs) et 27,51 (128 NFEs), sans changer représentation, objectif d'entraînement ni sampler.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

Chaleur 18

Pertinence 45

Nouveauté 68

OUVRIR LA SOURCE ↗

#diffusion#language-models#transformer #arxiv

Concevoir des Transformers pour les modèles de langage à diffusion continue

Lu et jugé par Fellow · impact léger

À lire aussi