Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

L'ELR pilote la dynamique de perte du pré-entraînement

Une étude révèle que le taux d'apprentissage effectif (ELR) unifie les dynamiques de perte à travers diverses configurations.

arXiv·Zihan Liu, Ruiheng Zheng, Shaobo Zhang, Changxin Tian·25 août 2026

Lu et jugé par Fellow · impact léger

Résultat empirique intéressant sur la dynamique d'entraînement, mais analyse mécanistique sans application ou changement pratique immédiat.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

L'ELR pilote la dynamique de perte du pré-entraînement
Image · Source originale
Des chercheurs identifient le phénomène d'ELR collapse dans le pré-entraînement de LLM, où le ratio entre le learning rate et la norme des paramètres détermine principalement la dynamique de perte. Cette observation valide l'ELR comme coordonnée commune reliant le scheduling, le contrôle de norme et la trajectoire d'entraînement.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#pretraining#optimization#learning-rate#scaling-laws

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi