Paysage visuel structuré : générer des représentations préférées dans les réseaux de neurones biologiques et artificiels

Les auteurs proposent un paysage de représentations visuelles structuré et un prior basé sur les activations, qui régularise l'espace latent avec des activations de régions cérébrales ou d'unités de réseaux de neurones. Le modèle Vis-Lens combine un variational autoencoder et un modèle de diffusion pour produire des images naturelles et réalistes en modifiant directement les codes latents. Testé sur réseaux artificiels et sur données fMRI du cortex visuel humain, il améliore la modulation d'activation et le réalisme des images par rapport à une méthode récente de pointe.