RECHERCHE
PAPIERVerdict : légerSur la stabilité de l'apprentissage
Quand les gradients sont bruités et disponibles par intermittence, l'apprentissage peut devenir instable, même si la dynamique moyenne converge vers l'optimum correct.
arXiv·John J. Vastola·26 octobre 2026
Lu et jugé par Fellow · impact léger
Travail théorique sur des réseaux linéaires avec conditions de stabilité explicites, utile aux modèles d'apprentissage biologiquement plausibles, mais sans application directe ni reprise externe.
Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Image · Source originale
L'étude montre que, si l'information de gradient est bruitée et intermittente, la variance de l'apprentissage peut être asymptotiquement infinie malgré une convergence en moyenne vers le bon optimum. L'auteur analyse des cas analytiquement traitables, dont des réseaux linéaires à une ou plusieurs couches, et dérive des conditions explicites de stabilité, distinctes de celles de la SGD. Un credit assignment non biaisé ne suffit pas : un feedback suffisamment fréquent et informatif est nécessaire, ce qui contraint les modèles d'apprentissage biologiquement plausibles.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
#stabilité#gradient#credit-assignment#réseaux-linéaires#apprentissage-biologique
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.