VLM
Fellow suit ce sujet depuis juillet 2026 : 30 articles résumés en français, dont 7 jugés majeurs ou notables.
Toute l'actualité · 30 articles
D'où vient la capacité de RSI physique ? Une loi d'échelle observationnelle des LLM utilisés comme politiques
Des chercheurs introduisent PhysRSI-eval, une métrique à cinq axes pour mesurer l'auto-amélioration récursive physique de VLM agents sur 18 tâches de manipulation, et proposent l'hypothèse du « Physical Barrel ».
RefCraft : évaluer la génération agentique conditionnée par des références visuelles via le développement web
Un nouveau benchmark de 300 tâches de développement de pages web à partir de captures d'écran de référence montre que les modèles actuels peinent : le meilleur système n'atteint que 52,12/100.
PhySGA : un framework agentique ancré dans l'espace physique pour la composition 3D généralisable et interactive
Des chercheurs proposent PhySGA, un framework d'agents couplé à la simulation physique pour assembler des objets rigides, articulés et déformables, y compris accrochage et confinement caché.
AesCode : génération de code esthétique avec des récompenses cross-modales découplées
AesCode génère des slides, posters et dashboards sous forme de code, guidé par une image de référence, et optimise par reinforcement learning des récompenses vérifiables et visuelles séparées.
Quand les VLMs détruisent ce qu'ils savent : les représentations spatiales passent sous les a priori lexicaux
Une étude introduit la métrique EICS et le benchmark CASP-VL : les VLMs encodent les relations spatiales bien moins fidèlement que l'information lexicale, malgré de bons scores sur les benchmarks compositionnels.
FastBench : les VLM en streaming perçoivent-ils les flux réels à haute dynamique ?
Un nouveau benchmark de 306 questions révèle les limites des VLM en streaming face aux événements rapides : le meilleur modèle, Gemini-3.5-Flash, n'atteint que 50,7 %.
Une figure, tous les formats : réagencement éditable de schémas via pipeline agentique
Un système multi-agents adapte automatiquement les schémas techniques à n'importe quel format sans casser les connexions ni halluciner de contenu.
NVIDIA présente NV-Reason-CT, un VLM open pour le raisonnement en chaîne de pensée sur les CT 3D
Un modèle vision-langage ouvert conçu pour interpréter les scanners CT volumétriques et reproduire le raisonnement diagnostique des radiologues.
LensVLM : Apple compresse le contexte long sous forme d'images, en n'agrandissant que les pages pertinentes
Apple publie un modèle vision-langage qui encode les documents comme des images compressées, réduisant le coût du traitement de longs contextes.
DiaVLo : un framework de diagnostic des comportements des modèles vision-langage
DiaVLo détecte les désalignements comportementaux des VLM et identifie les concepts causaux qui orientent leurs réponses, favorisant un déploiement plus fiable.
Workspace Models : une mémoire robotique légère guidée par la saillance
Une méthode entraîne un token de mémoire compact à partir de VLM, évitant leur usage coûteux au moment de l'exécution des tâches robotiques.
Show-Harness : un agent VLM capable de piloter des robots
Une interface sémantique compacte permet aux modèles vision-langage de contrôler des robots par zero-shot ou fine-tuning rapide.
Voir avant de synthétiser : détection d'événements de transition guidée par VLM pour le captioning vidéo dense faiblement supervisé
Un nouveau framework utilise un VLM pour générer des transitions vidéo ancrées visuellement, améliorant le captioning et la localisation d'événements.
Combler l'écart coût-qualité des VLM documentaires : curation de données par difficulté et économie de déploiement
Un système de compréhension documentaire basé sur un VLM MoE compact réduit les coûts de plus de 80% face à l'annotation humaine, tout en battant des modèles bien plus gros.
Guidage sélectif par entropie : apprendre des politiques autonomes à partir de VLM enseignants imparfaits
SAGE interroge un VLM seulement en cas d'incertitude pour distiller une politique RL légère, autonome à l'évaluation.
R³ : entraîner des robots à raisonner en langage naturel via reinforcement learning
Une méthode de post-training transforme des VLMs standards en raisonneurs robotiques capables de guider des politiques de manipulation complexes.
Créer des workflows IA multimodaux fédérés avec NVIDIA FLARE
NVIDIA propose d'utiliser son framework FLARE pour entraîner des VLMs sur des données distribuées sans centralisation.
CARE-X : un VLM pour radiologie clinique aligné et assisté par outils
Microsoft dévoile CARE-X, un modèle VLM unifié pour la radiologie intégrant apprentissage par renforcement et outils de mesure déterministes.
Les VLM réduisent l'énergie IA et boostent la précision
Encoder les séries temporelles en images diminue drastiquement les tokens et la consommation énergétique.
ExtractBench : benchmark pour l'extraction de documents d'entreprise
Un nouveau dataset évalue la précision et l'exhaustivité des agents IA pour l'extraction guidée par schéma.
OSReward : évaluation standardisée des modèles de récompense
Un benchmark évalue la fiabilité des VLM comme juges d'agents informatiques.
VetClaw : système agentique edge-cloud pour dépistage vétérinaire
Une architecture edge-cloud combinant vision et langage pour le dépistage précoce de maladies animales via agents.
KANEx : interprétabilité des KAN pour l'imagerie médicale
KANEx exploite la transparence des réseaux Kolmogorov-Arnold pour générer des explications médicales plus fiables.
NVIDIA Ising 1.5 : calibration automatique de QPU par VLM
NVIDIA dévoile Ising Calibration 1.5, un VLM open source qui calibre automatiquement les processeurs quantiques via l'in-context learning.
VLM-IE3D : des VLM conscients de la 3D grâce à des géométries implicites et explicites
Un nouveau framework injecte des représentations 3D dans les modèles vision-langage à partir de simples vidéos RGB, sans capteur additionnel.
MIRROR : optimiser le raisonnement multi-modal par vues croisées
Une méthode RL exploitant les vues texte et image pour améliorer la cohérence des modèles de vision-language.
Test-Time Training pour la consistance de l'ordre modal dans les VLM
Les modèles vision-langage sont sensibles à l'ordre des entrées. Une méthode d'adaptation corrige ce biais et améliore les performances.
Généralisation de domaine simple pour la détection de falsification d'images au niveau pixel dans les VLM modernes
Une méthode d'entraînement simple améliore la détection de retouches générées par ChatGPT, Gemini ou Qwen-Image, avec une robustesse accrue hors distribution.
ToolSciVer : vérification scientifique multimodale par RL et outils visuels
Un cadre utilisant des outils spécialisés et le reinforcement learning pour améliorer la vérification de réclamations scientifiques.
VAORA : aligner le raisonnement visuel et l'action pour la physique interactive
Un nouveau mécanisme de récompense double pour ancrer le raisonnement des VLMs dans la réalité physique et réduire les hallucinations dans les tâches interactives.