UniWALM : un modèle unifié monde-action-langage pour le contrôle de robots incarnés

UniWALM unifie vidéo, action et langage dans un seul backbone mixture-of-transformers, avec des têtes de diffusion par modalité qui débruitent de façon synchrone. Le langage généré (sous-tâche, mémoire textuelle) est réutilisé à l'étape suivante, sans planificateur ni banque de mémoire externes. Le papier introduit aussi Flow Matching with Correction (FMC), objectif d'entraînement de récupération après perturbation des trajectoires d'action, sans coût à l'inférence. UniWALM dépasse FastWAM sur MolmoSpaces et atteint 34,5 % sur le sous-ensemble mémoire de RMBench, contre 28,5 % pour Mem-0.