Problème ouvert : AdamW est-il efficace sous bruit à queue lourde ?

AdamW domine l'entraînement des LLMs, mais sa théorie repose sur des hypothèses de variance finie, alors que le bruit des gradients stochastiques en pré-entraînement est empiriquement à queue lourde. Des optimiseurs comme Lion, Muon ou AdaGrad disposent déjà de garanties dans ce régime. Les auteurs formalisent l'absence de théorie pour AdamW comme un problème ouvert, établissent un benchmark pondéré positif et montrent via un mécanisme de borne inférieure comment l'accumulateur du second moment peut masquer de grands gradients.