Joints, Camera, Action ! Co-génération de mouvement 3D et de vidéo pour des rigs arbitraires

Le modèle co-génère vidéo et mouvement 3D pour tout rig fourni, ainsi qu'une caméra qui recale ce mouvement dans la scène. Un modèle de mouvement séparé, compatible avec des squelettes arbitraires, est relié à un modèle vidéo pré-entraîné par quelques couches de cross-attention. L'entraînement s'appuie sur près de 200K paires, issues notamment d'éditions vidéo d'assets 3D animés, de vidéos humaines et de robots. Selon les auteurs, l'animation de rigs variés à partir de texte est plus fidèle qu'avec des pipelines centrés sur la vidéo.