La loterie FID : quantifier l'aléa caché dans l'évaluation des modèles génératifs

Des chercheurs de Kyutai démontrent que le FID (Fréchet Inception Distance), indicateur standard pour évaluer la qualité des modèles génératifs d'images, est fortement affecté par la variance aléatoire liée à l'échantillonnage. Cette instabilité, baptisée « loterie FID », remet en question la fiabilité des comparaisons entre modèles basées sur ce score. Les auteurs proposent une analyse quantitative de cet aléa et appellent à davantage de rigueur dans les protocoles d'évaluation.