Effondrement post-grokking à l'interface représentation-lecture dans les transformers entraînés avec Muon

Les chercheurs identifient une instabilité systématique dans les transformers entraînés avec Muon sur des tâches arithmétiques modulaires : après le grokking, les modèles perdent leur généralisation. Le problème se situe à l'interface entre les représentations internes et la couche de lecture, où Muon et AdamW réagissent différemment aux gradients résiduels. Geler les embeddings ou la tête de sortie élimine totalement l'échec, tandis que retirer la normalisation de Muon aggrave l'effondrement des représentations.