RECHERCHE
Gradients explosifs et évanescents dans les réseaux profonds : l'effet des connexions résiduelles
Une analyse théorique rigoureuse du phénomène des gradients instables dans les réseaux profonds, via la théorie ergodique multiplicative.
arXiv cs.AI · cs.LG · cs.CL·Vivek S Borkar·15 juin 2026
Image · Source originale
Cet article analyse le phénomène bien connu des gradients explosifs et évanescents dans les réseaux de neurones profonds à l'aide de la théorie ergodique multiplicative. L'auteur exploite une caractérisation des exposants de Liapunov due à Furstenberg et Kifer pour établir un énoncé précis sur le spectre de Liapunov. Il explique ainsi formellement l'effet stabilisateur des connexions résiduelles sur ce spectre.
Chaleur 22
Pertinence 45
Nouveauté 60