Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE

Code-switching multimodal : aligner objets visuels et texte de manière explicite

Une nouvelle méthode de pré-entraînement pour MLLM remplace les entités textuelles par des objets visuels, améliorant l'efficacité des données de façon marquée.

arXiv·Changhao Xiang, Shangyu Xing, Zhen Wu, Jianbing Zhang·11 août 2026
Code-switching multimodal : aligner objets visuels et texte de manière explicite
Image · Source originale
Les MLLM actuels alignent images et texte au niveau global, ce qui crée une ambiguïté référentielle entre objets visuels et entités textuelles. MMCS interleave vision et langage en substituant les entités textuelles par leurs objets visuels correspondants, forçant un ancrage local. Avec seulement 50K échantillons, cette méthode égale ou dépasse des modèles entraînés sur 600K paires image-texte, tout en améliorant le grounding visuel.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#mllm#vision-language#pretraining#grounding#data-efficiency

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi