Les multiples facettes de la similarité visuelle : une métrique perceptuelle d'image guidée par texte

Les chercheurs présentent un dataset de jugements humains de similarité sur des triplets d'images annotés selon plusieurs aspects sémantiques. Les VLM actuels montrent un écart notable avec le consensus humain. Les auteurs proposent TPIPS, une métrique fine-tunée qui capture différents sens de la similarité selon le prompt textuel, avec des applications en recherche d'image et évaluation de modèles génératifs.