Les modèles de diffusion de langage comme mémoires associatives capables de récupérer des données inédites

Les auteurs démontrent que les modèles de diffusion discrets uniforme (UDDMs) se comportent fondamentalement comme des mémoires associatives dotées de capacités créatives émergentes. Ils identifient une transition nette mémorisation-généralisation gouvernée par la taille du jeu d'entraînement : à mesure que celui-ci croît, les bassins d'attraction autour des exemples d'entraînement rétrécissent tandis que ceux autour d'exemples inédits s'élargissent. L'entropie conditionnelle des séquences de tokens prédit s'avère être un indicateur pratique de cette transition dans les modèles déployés.