VideoLVR : raisonnement visuel latent sur des preuves vidéo ancrées

VideoLVR construit des preuves visuelles latentes à partir de régions locales aux moments pertinents d'une vidéo, afin de soutenir les étapes intermédiaires du raisonnement. Un objectif de prédiction de tokens visuels, défini sur un vocabulaire dérivé de la vidéo d'entrée, unifie reconstruction visuelle et génération de texte. La méthode est étendue à l'apprentissage par renforcement, en traitant les tokens visuels échantillonnés comme des actions au même titre que les tokens textuels.