L'espace de conception des modèles de diffusion masquée tri-modaux

Les modèles de diffusion discrète s'imposent comme alternative aux LLM autoregressifs ; les travaux récents partaient d'un modèle unimodal affiné pour une génération bi-modale. Apple introduit les premiers Masked Diffusion Models (MDM) tri-modaux, préentraînés from scratch sur texte, image-texte et audio-texte. L'étude analyse les scaling laws multimodales, les ratios de mélange des modalités, les noise schedules et les effets de la taille de batch, et propose des paramètres d'échantillonnage optimisés. L'analyse de la taille de batch aboutit à une approche inédite fondée sur une équation différentielle stochastique (SDE).