Quand les VLMs détruisent ce qu'ils savent : les représentations spatiales passent sous les a priori lexicaux

Les auteurs proposent EICS, une métrique de stabilité des concepts sous interventions contrôlées, et CASP-VL, un benchmark de perturbations spatiales causales dérivé des scene graphs de Visual Genome. Sur plusieurs architectures de VLMs, les relations spatiales sont représentées nettement moins fidèlement que le lexique. La relation reste identifiable au niveau des tokens du prédicat, mais se perd lors de l'agrégation en représentation globale (token EOS ou mean pooling), un échec invisible à l'évaluation fondée sur les sorties.