Sur la (non-)fermeture de l'ensemble des réseaux ReLU

Les auteurs prouvent que l'ensemble des réseaux ReLU à une couche cachée et au plus N neurones est faiblement fermé dans W^{1,p}(Ω). Toute énergie coercive et faiblement semi-continue inférieurement y atteint donc son minimum, ce qui couvre la méthode Deep Ritz à intégrandes convexes, le Sobolev training et le Lipschitz learning. Quand le weight decay tend vers zéro, les minimiseurs convergent, à sous-suite près, vers des minimiseurs de norme de paramètres minimale. Pour deux couches cachées de largeurs bornées, l'ensemble n'est fermé ni dans W^{1,p}(Ω) ni dans C(Ω̄), ce qui réfute une conjecture de Petersen, Raslan et Voigtlaender.