RECHERCHE
PAPIERRéseaux ReLU à deux couches univariés : solutions exactes et optimalité globale grâce aux skip connections
Une étude théorique caractérise géométriquement les classifieurs à norme minimale et montre comment les skip connections garantissent l'optimalité globale.
arXiv cs.AI · cs.LG · cs.CL·Karolina Drabik, Ben Lewis, Antoni Puch, Etienne Boursier·23 septembre 2026
Lu et jugé par Fellow · impact léger
Résultat théorique avec vérification numérique portant sur un cas très restrictif (réseaux univariés à deux couches), éclairant le paysage d'optimisation sans bouleverser les usages pratiques.
Image · Source originale
Les chercheurs caractérisent complètement les solutions optimales de classification binaire par réseaux ReLU univariés à deux couches, selon que les biais soient pénalisés ou non. Ils démontrent que l'ajout d'une skip connection affine ne change pas les solutions en espace fonctionnel mais rend tous les points KKT globalement optimaux, éliminant les points sous-optimaux possibles sans cette connexion. Des expériences numériques confirment ces résultats théoriques sur le paysage d'optimisation et la parcimonie.
Chaleur 0
Pertinence 30
Nouveauté 65