Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Instabilité de l'optimisation scale-invariant

Une loi exacte explique l'interaction entre lr et weight decay dans les réseaux normalisés.

arXiv·Hasan Amin, Wei-Kai Chang, Rajiv Khanna·8 septembre 2026

Lu et jugé par Fellow · impact léger

Résultat théorique validé empiriquement mais portée limitée à la compréhension des schedules d'optimisation, sans étude indépendante à ce stade.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Instabilité de l'optimisation scale-invariant
Image · Source originale
Ce papier établit une loi discrète exacte régissant l'interaction entre le learning rate et le weight decay dans les réseaux de neurones scale-invariants. L'analyse révèle une instabilité intrinsèque de l'équilibre et démontre pourquoi les méthodes adaptatives offrent une stabilisation plus faible que les autres optimiseurs.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#optimization#weight-decay#normalization#adaptive-methods

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi