Analyse des trajectoires de démasquage dans les modèles de diffusion pour la génération texte depuis des graphes

Cette étude analyse les trajectoires de génération des masked diffusion language models (MDLMs) appliqués à la conversion graphe-vers-texte. Contrairement aux LLMs autorégressifs, les MDLMs démasquent d'abord les entités, puis les mots relationnels, et en dernier les tokens structurels. Le fine-tuning supervisé perturbe cet ordre en ancrant prématurément les tokens de fin de phrase, provoquant omissions ou hallucinations. Les auteurs proposent le lambda-scaled structural decoding (+9,4 BLEU-4) et Graph-LLaDA, intégrant un encodeur Graph Transformer dans LLaDA.