Entraînement adversarial à grands pas : biais implicite, optimisation et sharpness

Les auteurs étudient la dynamique de la descente de gradient déterministe en Adversarial Training avec de grands pas constants, d'abord en régression logistique linéaire adversariale, puis sur des réseaux de neurones. Le biais implicite entre AT et entraînement standard persiste pour des pas arbitrairement grands. Il n'existe pas de taux de convergence uniforme de l'erreur d'optimisation en AT. La sharpness suit une dynamique en deux phases, distincte de l'Edge-of-Stability observé en entraînement standard.