Transition de phase des random features aux réseaux entièrement entraînables

L'article établit, sous décroissance spectrale polynomiale d'exposant α>1, un taux d'approximation L2 quadratique pour des réseaux à deux couches de largeur m et de proportion entraînable P, valable uniformément sur la boule unité d'un RKHS. Les constantes mesurent le décalage d'échantillonnage des groupes fixe et entraînable. Pour d=5 et τ=10, environ 4,1 % de neurones entraînables captent 90 % de la réduction de la borne entre P=0 et P=1. Un comportement analogue est observé sur les erreurs d'entraînement.