Vision language
Fellow suit ce sujet depuis juillet 2026 : 24 articles résumés en français, dont 2 jugés majeurs ou notables.
Toute l'actualité · 24 articles
CoDA : co-évolution des moteurs de données et des politiques d'action en robotique
Un framework fait co-évoluer un moteur de simulation générative et une politique d'action via une mémoire partagée, avec des gains marqués en généralisation hors distribution.
Twice Upon a Time : des représentations complémentaires pour le raisonnement sur séries temporelles
Un modèle combinant courbes et delay embeddings normalisés, construit sur Qwen3-VL-8B, fait passer la précision sur TSRBench de 44,5 % à 53,2 % par rapport aux courbes seules.
Hide and Seek : masquer des concepts pour expliquer les modèles de vision en boîte noire
HnS, une méthode d'attribution par concepts, mesure l'effet du masquage d'un concept sur la sortie d'un modèle, sans accès aux poids ni jeu de données annoté en concepts.
PANORAMA : légendage panoptique ancré par sélection de masques
PANORAMA améliore l'ancrage pixel des légendes VLM via la sélection de masques conditionnels et un benchmark dédié.
MUSE : benchmark pour l'éducation multimodale des LVLM
Un nouveau benchmark évalue la compréhension artistique et contextuelle des modèles vision-langage dans l'éducation.
Les VLM légers identifient-ils les espèces sur la edge ?
Des tests sur des pièges photographiques montrent que les spécialistes comme BioCLIP surclassent les VLM généralistes de 2 à 8B.
Voir avant de synthétiser : détection d'événements de transition guidée par VLM pour le captioning vidéo dense faiblement supervisé
Un nouveau framework utilise un VLM pour générer des transitions vidéo ancrées visuellement, améliorant le captioning et la localisation d'événements.
VIALS : un benchmark pour l'interprétation visuelle d'artefacts en sciences de la vie
161 tâches d'interprétation d'images scientifiques révèlent les limites des modèles vision-langage face aux workflows réels de biotech.
DreamFly : mémoire causale et planification par diffusion pour la navigation aérienne
Un framework de diffusion pour la navigation aérienne VLN améliorant la mémoire et l'arrêt explicite.
Code-switching multimodal : aligner objets visuels et texte de manière explicite
Une nouvelle méthode de pré-entraînement pour MLLM remplace les entités textuelles par des objets visuels, améliorant l'efficacité des données de façon marquée.
ReToken : un unique token pour améliorer la recherche visuelle dans les modèles vision-langage
Une méthode légère à un seul embedding entraîné améliore la récupération de tokens visuels pertinents, avec des gains mesurables sur plusieurs benchmarks image et vidéo.
ACA : Adaptation Contextualisée pour Modèles CT
Un framework léger adapte les modèles CT pour aligner vision et langage au niveau anatomique.
VLM-IE3D : des VLM conscients de la 3D grâce à des géométries implicites et explicites
Un nouveau framework injecte des représentations 3D dans les modèles vision-langage à partir de simples vidéos RGB, sans capteur additionnel.
Visual Contrastive Self-Distillation
Une méthode de self-distillation visuelle qui surpasse les OPSD existants sur Qwen-VL.
Les multiples facettes de la similarité visuelle : une métrique perceptuelle d'image guidée par texte
Un nouveau benchmark et une métrique VLM permettent de conditionner la similarité visuelle selon un aspect précis (forme, couleur, etc.).
Généralisation de domaine simple pour la détection de falsification d'images au niveau pixel dans les VLM modernes
Une méthode d'entraînement simple améliore la détection de retouches générées par ChatGPT, Gemini ou Qwen-Image, avec une robustesse accrue hors distribution.
ActiveVision : un benchmark révèle l'échec des MLLMs sur l'observation visuelle active
Les modèles multimodaux les plus avancés s'effondrent face à des tâches nécessitant une perception visuelle itérative, loin derrière les humains.
SciDiagramEdit : apprendre à éditer des diagrammes scientifiques à partir des révisions d'articles
Un nouveau benchmark exploite l'historique des versions arXiv pour entraîner des agents à éditer des figures scientifiques via instructions en langage naturel.
Kimi-VL-A3B-Thinking : nouveau modèle vision-langage
Moonshot AI présente un modèle VL compact pensant, accessible sur Hugging Face.
Pré-entraînement visuel scalable pour l'intelligence des modèles de langage
Une étude montre que pré-entraîner directement sur des documents visuels surpasse l'approche texte-only classique, sans passer par l'extraction de texte.
Une décennie de modèles vision-langage : évolution de la précision et des erreurs cognitives
Une étude sur dix ans montre que les modèles multimodaux récents ont quasiment comblé leur écart de performance face aux scènes sociales complexes.
AUTOPILOT VQA : un benchmark VQA centré sur les incidents de conduite dashcam
Un nouveau dataset évalue la capacité des modèles vision-langage à raisonner sur des incidents routiers réels, au-delà de la simple reconnaissance d'objets.
Sortie de Kimi-VL-A3B-Thinking-2506 par Moonshot AI
Moonshot AI publie un nouveau modèle multimodal sur Hugging Face.
Kimi-VL-A3B-Thinking : modèle multimodal
Moonshot AI publie un modèle léger de raisonnement visuel sur Hugging Face.