World models

Framework validé sur 7 domaines, gains métriques généralisés et intervention biologique confirmée expérimentalement.

Une méthode calibre des world models conditionnés par l'action à la dynamique propre d'une scène via un simple clip d'interaction, sans fine-tuning ni modélisation physique analytique.

NVIDIA présente Cosmos3-H-Dreams, un simulateur chirurgical génératif interactif entraîné sur des enregistrements cliniques de cholécystectomie et exécuté sur un seul GPU RTX PRO 6000.

UniWALM apprend vidéo, action et langage dans une représentation partagée unique, et utilise le langage généré comme mémoire pour améliorer la manipulation robotique, sans planificateur externe.

Agima entraîne un modèle omni unique à proposer des actions, générer des images de leurs conséquences et raisonner sur ces futurs imaginés avant d'agir dans l'environnement réel.

Un nouveau benchmark open-source teste si les world models savent recombiner des facteurs d'état et d'action familiers. Les modèles actuels échouent de façon constante sur ces recombinaisons.

T2-Z ajoute à un world model robotique un latent d'environnement optimisé au moment du test, ce qui réduit l'erreur de prédiction d'objets de 15,20 à 7,00 et porte le succès des actions de 33,73 % à 72,96 %.

GeoState sépare l'évolution de la scène des variations liées à la caméra pour prédire des états 3D futurs, et surpasse les world models 3D antérieurs sur Waymo.

DSP apprend une politique de jeu à partir de quelques minutes de play humain, collecte seule des heures de données et entraîne un world model pour la manipulation dextre.

Dyna Robotics présente Dyna-2, un world-action model entraîné sur un million d'heures de vidéo humaine, et Dyna-2.1, un robot qui plie des serviettes 24 heures d'affilée avec 99,4 % de réussite.

Un framework généraliste s'appuyant sur des world models prédictifs pour guider l'action et la sélection des données d'apprentissage, avec des gains en réparation de code, GUI et optimisation de réactions.

Un nouveau jeu de données et benchmark de raisonnement sur les transitions visuelles révèle un déficit systématique des MLLM et améliore 22 benchmarks externes sur 26 après entraînement.

Un framework qui démontre que la pré-entraînement autorégressif permet d'exploiter efficacement de longues historiques visuelles pour la manipulation robotique, avec des gains de 15 points de succès sur RoboCasa GR-1.

Des chercheurs établissent les premières lois d'échelle pour les modèles de monde robotiques entraînés sur données réelles, avec un modèle à 8 milliards de paramètres déployé zero-shot sur du matériel physique.

Un pipeline de calibration et un modèle de diffusion vidéo permettent de générer des rollouts RGB et profondeur géométriquement cohérents.

Un agent 4B co-entraîné avec un curriculum de tâches et un adversaire évolutif résiste mieux aux injections, y compris face à un modèle frontière inédit.

Un nouveau framework génère de l'audio spatial en temps réel pour accompagner les vidéos produites par les world models.

Une architecture JEPA hiérarchique améliore fortement la planification long-terme, avec un gain spectaculaire sur Visual AntMaze (18% → 73%).

Une enquête technique suggère que le générateur de jeux Muse de Meta reposerait en partie sur un modèle OpenAI, et non uniquement sur une architecture maison.

Runway détaille WorldPrompt, un format d'entrée pour piloter des simulations vidéo/audio générées en temps réel par son modèle GWM Worlds 2.

Une nouvelle méthode de world model améliore fortement la planification robotique en distinguant mieux les actions candidates plutôt que la seule prédiction factuelle.

Un modèle prédictif en espace latent aide les véhicules sous-marins télécommandés à anticiper les interactions de contact sans capteurs tactiles.

Un nouveau modèle du monde corrige les raisonnements bruités des agents LLM plutôt que de simuler les retours des outils.

Les flux latents gelés perdent la capacité de modéliser le mouvement. La méthode DART restaure cette dynamique en réentraînant le flux via un signal décodé, surpassant l'approche latent-only.

Un nouveau modèle génère des explorations vidéo cohérentes sur plusieurs minutes grâce à une mémoire 3D interrogeable par point de vue.

Un nouveau modèle combine vision et toucher pour prédire les dynamiques de contact, surpassant nettement les approches purement visuelles.

Un nouveau benchmark isole la réutilisation de connaissances dans l'apprentissage continu des modèles du monde, révélant les limites des méthodes actuelles face à l'oubli catastrophique.

Un framework domain-agnostic fondé sur la factorisation prédictive orthogonale unifie l'apprentissage de modèles du monde sur sept domaines distincts.

Un nouveau modèle combine vision et toucher pour prédire actions et dynamiques physiques, plus rapide que les backbones génératifs classiques.

Un mouvement physiquement correct peut rester présent dans un modèle vidéo même s'il génère une animation fausse — et être réactivé par une simple intervention.

Un backbone de diffusion masquée traite langage, vision, buts et actions comme des tokens discrets pour la robotique conditionnée par instructions.

Une extension du JEPA améliore la généralisation zéro-shot en physique via l'action-conditioning.

Danijar Hafner mise sur les world models et le reinforcement learning pour permettre à des robots humanoïdes de s'adapter à des environnements inconnus.

Un nouvel objectif d'entraînement aligne la prédiction d'états web sur le besoin réel des rankers d'actions, avec des gains mesurables sur plusieurs benchmarks.

World Labs présente Atlas, un modèle génératif capable de comprendre et de naviguer dans des environnements 3D interactifs.

Un framework léger convertit un générateur vidéo de 33B paramètres en modèle de monde interactif piloté par instructions en langage naturel.

Une étude formelle montre qu'un modèle de monde de code validé par un test peut être exact partout où le test regarde, et arbitrairement faux ailleurs.

CLAP unifie les espaces d'action robots et humains pour générer des vidéos prédisant la physique en zero-shot.

ReWorld sépare contrôle et mémoire pour un streaming vidéo temps réel sur de longs horizons.

Une méthode de correction d'invariant réduit l'erreur de prédiction dans les simulations vidéo de DreamerV3.

NVIDIA dévoile Cosmos 3 Edge, un modèle omni de 4 milliards de paramètres conçu pour le contrôle robotique embarqué.

Un nouveau benchmark révèle que les modèles vidéo génératifs concentrent leurs sorties sur peu d'issues au lieu de reproduire des distributions physiques réelles.

Un nouveau modèle de monde sépare explicitement état 3D, rendu géométrique et synthèse visuelle pour des jeux avec personnages articulés.

Un système génère automatiquement un modèle du monde exécutable pour maîtriser des jeux ARC-AGI-3 jamais vus, sans règles prédéfinies.

Un nouveau modèle prédit la récidive de fibrillation auriculaire après ablation en modélisant la trajectoire clinique irrégulière du patient, sans IRM de suivi requise.

Le spécialiste des 'world models' pourrait être acquis pour un montant record.

Un modèle génératif exploite des vidéos sans annotations pour améliorer le contrôle robotique chirurgical.

Un nouveau World Model latent garantit la cohérence physique pour la navigation d'agents embarqués dans des environnements ouverts.

NVIDIA introduit les World Action Models pour améliorer la généralisation des politiques robotiques face aux variations d'environnement.

Le WCM corrige l'estimation de valeur dans le RL robotique en modélisant explicitement la dynamique temporelle.

Un nouveau cadre théorique ajoute croyances, désirs et intentions aux modèles du monde pour mieux prédire les décisions humaines.