Descente de gradient sur deux neurones ReLU : paysage global et dynamiques de bifurcation

Les auteurs étudient un modèle teacher-student à deux neurones ReLU, avec entrées gaussiennes isotropes et gradient flow de population depuis une petite initialisation. Ils montrent que tout point critique à poids non nuls est soit un minimum global, soit un point selle. Les neurones étudiants s'effondrent d'abord vers un point selle de la bissectrice, puis s'en échappent pour se spécialiser sur les neurones teacher. L'étude décrit ainsi le paysage et la dynamique de la brisure de symétrie multi-phase.