SGD décentralisé sous bruit à queue lourde : taux de convergence optimaux et rôle du gradient clipping

Cette étude analyse le SGD décentralisé (DSGD) avec gradient clipping sous bruit à queue lourde, un phénomène fréquent en apprentissage profond. Les auteurs établissent des taux de convergence optimaux, à la fois en espérance et avec forte probabilité, pour des coûts non convexes lisses sous bruit à p-ième moment borné (p ∈ (1,2]). Ils démontrent également une accélération linéaire en nombre d'agents, une première pour les méthodes décentralisées avec clipping. L'analyse repose sur une borne fine du gap de consensus exploitant la structure du clipping, qui relègue les effets de réseau à des termes d'ordre supérieur. Les résultats mettent en évidence une distinction clé : le clipping préserve l'information de magnitude, contrairement à la normalisation qui peut échouer à converger dans ce cadre.