Overfitting bénin dans l'entraînement adversarial pour les Vision Transformers

Des chercheurs proposent la première analyse théorique de l'entraînement adversarial appliqué aux Vision Transformers (ViTs). Ils démontrent que, sous certaines conditions de ratio signal/bruit et de budget de perturbation, les ViTs peuvent atteindre une erreur de généralisation robuste quasi nulle malgré l'overfitting — phénomène dit « bénin », jusqu'ici observé uniquement sur les CNN. Des expériences sur données synthétiques et réelles confirment ces résultats.