RECHERCHE
VLM-IE3D : des VLM conscients de la 3D grâce à des géométries implicites et explicites
Un nouveau framework injecte des représentations 3D dans les modèles vision-langage à partir de simples vidéos RGB, sans capteur additionnel.
arXiv·Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao·23 juillet 2026

Image · Source originale
VLM-IE3D dote les VLM classiques de tokens géométriques implicites et explicites extraits de vidéos RGB, combinés via un adaptateur 3D. Cette approche améliore les performances sur la détection 3D, l'ancrage visuel, le captioning dense et le raisonnement spatial, sans nécessiter de données 3D supplémentaires. Le code et les modèles sont publiés en open source.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- PhySGA : un framework agentique ancré dans l'espace physique pour la composition 3D généralisable et interactive14 octobre 2026
- RefCraft : évaluer la génération agentique conditionnée par des références visuelles via le développement web19 octobre 2026
- Twice Upon a Time : des représentations complémentaires pour le raisonnement sur séries temporelles15 octobre 2026
- Kimi-VL-A3B-Thinking : modèle multimodalMoonshot AI · 30 janvier 2026
- SceneBind : lier quoi et où entre vision, audio et langage16 juillet 2026
- Créer des workflows IA multimodaux fédérés avec NVIDIA FLARENVIDIA · 19 août 2026