OmniCompass : un benchmark global pour l'ancrage et la compréhension vidéo omni-modaux

OmniCompass évalue 50 MLLMs sur le grounding temporel et spatial et le question answering, avec deux pistes : vision-langage et audio-visuelle, sur 820 vidéos annotées manuellement.

arXiv·Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li·13 octobre 2026

Lu et jugé par Fellow · impact léger

Benchmark académique documenté (820 + 240 vidéos annotées manuellement, 50 MLLMs évalués) utile aux chercheurs, mais portée limitée et aucune reprise externe à ce stade.

Verdict rendu par une IA selon une grille publique

Image · Source originale

OmniCompass est un benchmark d'évaluation des MLLMs pour l'ancrage et la compréhension vidéo omni-modaux. Il comprend deux pistes, VL (820 vidéos, 2 460 instances) et AV (240 vidéos, 720 instances), chacune avec temporal grounding, spatial grounding et QA, évaluées en réglages texte seul et texte+image. Les instances sont annotées manuellement avec vérification multi-tours. L'évaluation de 50 MLLMs montre que les modèles open-source restent en retrait des modèles propriétaires.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

Chaleur 7

Pertinence 50

Nouveauté 55

OUVRIR LA SOURCE ↗

#benchmark#video-understanding#MLLM#multimodal#grounding

OmniCompass : un benchmark global pour l'ancrage et la compréhension vidéo omni-modaux

Lu et jugé par Fellow · impact léger

À lire aussi