Mllm
Fellow suit ce sujet depuis juillet 2026 : 14 articles résumés en français, dont 3 jugés majeurs ou notables.
Toute l'actualité · 14 articles
OmniCompass : un benchmark global pour l'ancrage et la compréhension vidéo omni-modaux
OmniCompass évalue 50 MLLMs sur le grounding temporel et spatial et le question answering, avec deux pistes : vision-langage et audio-visuelle, sur 820 vidéos annotées manuellement.
WOVEN : intégrer la modélisation visuelle du monde dans les LLM multimodaux
Un nouveau jeu de données et benchmark de raisonnement sur les transitions visuelles révèle un déficit systématique des MLLM et améliore 22 benchmarks externes sur 26 après entraînement.
Imagine3D-LLM : apprendre aux MLLM à imaginer une scène 3D avant de répondre
Un modèle multimodal apprend à construire une représentation 3D compacte de la scène pour raisonner comme un humain avant de formuler sa réponse.
L'illusion d'alignement dans les modèles de langage multimodaux
Les métriques classiques d'alignement visuel-textuel dans les MLLMs masquent une absence réelle d'intégration : la similarité mesurée est souvent un artefact des poids du réseau.
MindTopo : le raisonnement topologique challenge les FM
Un nouveau benchmark évalue la capacité des modèles fondationnels à raisonner sur des relations spatiales topologiques.
Un cadre visuel pour l'auto-post-entrainement continu multimodal
Un nouveau framework VDA permet aux MLLMs d'apprendre continuellement sans supervision via l'analyse de la dépendance visuelle.
Diagram-MMU : benchmark multimodal pour diagrammes scientifiques
Un nouveau benchmark évalue la capacité des MLLM à parser et comprendre des diagrammes scientifiques complexes.
Auto-évolution en test-time pour le grounding visuel GUI via distillation guidée par réflexion
Un framework permet aux agents GUI de s'améliorer après déploiement sur des interfaces inconnues, sans annotation humaine, via un cycle exploration-réflexion-internalisation.
Code-switching multimodal : aligner objets visuels et texte de manière explicite
Une nouvelle méthode de pré-entraînement pour MLLM remplace les entités textuelles par des objets visuels, améliorant l'efficacité des données de façon marquée.
MMDiff : Différentiation de modèles multimodaux
Un framework pour identifier et contrôler les features internes des MLLM via des sparse autoencoders.
OPD-V : auto-distillation on-policy visuelle avec équilibrage des modalités
Une nouvelle méthode de post-entraînement corrige le déséquilibre texte-image dans les modèles multimodaux pour améliorer le raisonnement visuel.
ClinFusion : un MLLM centré vision pour la compréhension médicale globale
Un nouveau modèle multimodal médical unifie imagerie 2D/3D et surpasse GPT-5.2 et Gemini-3-Flash sur la plupart des benchmarks testés.
ActiveVision : un benchmark révèle l'échec des MLLMs sur l'observation visuelle active
Les modèles multimodaux les plus avancés s'effondrent face à des tâches nécessitant une perception visuelle itérative, loin derrière les humains.
Une décennie de modèles vision-langage : évolution de la précision et des erreurs cognitives
Une étude sur dix ans montre que les modèles multimodaux récents ont quasiment comblé leur écart de performance face aux scènes sociales complexes.