Repenser l'espace de conception des Diffusion Transformers pixel « vanilla »

Les auteurs proposent MFlow, une paramétrisation apprise de bout en bout qui interpole entre x0-prediction et velocity prediction selon les directions principales des données. La préférence varie avec la représentation et la capacité du modèle : plus le modèle est grand, plus la velocity prediction est favorisée. MFlow est évalué sur ImageNet, UCF-101 et en text-to-image à grande échelle, avec des performances compétitives ou meilleures. Les auteurs relèvent aussi un déficit persistant en hautes fréquences et introduisent ConvRefiner, un module convolutif entraîné avec une perte adversariale, backbone gelé.