Rêver le son du contact : générer vidéo et audio pour une manipulation robotique sensible à la force

Les trajectoires issues de vidéos générées manquent d'informations de force, ce qui limite les tâches nécessitant un contact physique. Les auteurs proposent d'ajouter de l'audio généré pour déduire un profil de force à partir de l'intensité sonore du contact. Ce profil guide un régulateur de force en boucle fermée sur un robot Franka Panda, avec de meilleurs résultats qu'une approche purement cinématique. Le pipeline sert aussi de générateur de données pour entraîner des politiques robotiques.