La fonction de perte ne voit pas la base, mais Adam la voit

Les auteurs montrent que la descente de gradient est implicitement biaisée vers des solutions de rang faible grâce à une symétrie de jauge de la perte, un avantage qu'Adam ne conserve pas car il n'est pas équivariant à cette jauge. Un théorème de structure caractérise les règles de mise à jour équivariantes, et des expériences sur la détection de matrices et les transformers confirment cette anisotropie comme cause du phénomène.