Qu'est-ce qui pénalise la v-prediction ? Une analyse par PCA par patchs du Flow Matching en espace pixel

Les auteurs examinent, par PCA par patchs, pourquoi la v-prediction se heurte à des difficultés d'entraînement dans le Flow Matching en espace pixel. La vitesse dans les composantes mineures dépend surtout de l'entrée bruitée brute, ce qui impose des backbones profonds pour préserver cette information. La x-prediction est décrite comme un décodeur de moyenne conditionnelle implicite. Ils proposent le Raw-injected Transformer (RiT), qui combine un décodeur léger conditionné sur l'entrée brute et un raccourci côté sortie pour restaurer une v-prediction efficace.