RECHERCHE
Random Reshuffling surpasse la descente de gradient stochastique
Une étude théorique lève les dernières ambiguïtés sur la convergence de Random Reshuffling face au SGD classique en optimisation convexe lisse.
arXiv cs.AI · cs.LG · cs.CL·Zijian Liu·30 juin 2026
Image · Source originale
Le Random Reshuffling (RR), variante populaire du SGD qui remélange les données à chaque époque, était jusqu'ici considéré comme une heuristique faute de garanties théoriques solides. Les théories existantes imposaient un pas d'apprentissage inférieur à 1/n et montraient un taux suboptimal pour un faible nombre d'époques. Ce travail lève ces deux restrictions et établit formellement que RR domine le SGD standard en optimisation convexe lisse.
Chaleur 14
Pertinence 55
Nouveauté 72