DreamX : un modèle de diffusion vidéo comme apprenant universel d'actions latentes

DreamX détourne un modèle de diffusion vidéo pré-entraîné pour en faire un apprenant d'actions latentes, en compressant chaque frame latente de 1 200 à 4 tokens (300×). Grâce au prior génératif, ces actions sont dissociées de l'apparence visuelle et servent d'interface commune entre embodiments, environnements et paramétrages d'action. DreamX atteint l'état de l'art parmi les latent action models sur LARY-Bench, permet le transfert vidéo any-to-any et le transfert d'actions zero-shot, et réduit le coût des policies basées sur la diffusion vidéo.