RECHERCHE
PAPIERVerdict : légerLe rôle de la localité et du partage de poids dans les réseaux de neurones convolutifs
Un modèle enseignant-élève décrit par des équations différentielles exactes sépare les effets de la localité et du partage de poids sur l'apprentissage, selon les corrélations spatiales des entrées.
arXiv·Francesco Mori, Melanie Weber·21 octobre 2026
Lu et jugé par Fellow · impact léger
Travail théorique vérifiable (équations différentielles exactes en grande dimension) qui éclaire localité et partage de poids, mais dans un modèle enseignant-élève sans application directe.
Image · Source originale
Les auteurs étudient un modèle enseignant-élève avec un enseignant convolutif sur P positions d'entrée corrélées (corrélation c). Ils comparent des élèves convolutifs et localement connectés entraînés par SGD en ligne, et dérivent des équations différentielles décrivant leur dynamique exacte pour une grande dimension D. Sans corrélation, l'élève convolutif apprend exactement P fois plus vite ; avec des corrélations, l'avantage du partage de poids diminue et dépend de l'horizon d'entraînement. La localité influe aussi sur la complexité d'échantillonnage : O(D) contre O(D log D) avec un noyau plus grand.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
#cnn#théorie-de-l-apprentissage#sgd#weight-sharing#sample-complexity
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.