Pion : un optimiseur préservant le spectre des matrices via transformation orthogonale

Pion est un nouvel optimiseur conçu pour l'entraînement et le fine-tuning des LLM, fondé sur des transformations orthogonales gauche et droite appliquées aux matrices de poids. Contrairement aux optimiseurs additifs classiques (Adam, Muon), il préserve les valeurs singulières — et donc la norme spectrale — à chaque mise à jour. Les expériences montrent des performances stables et compétitives aussi bien en pré-entraînement qu'en fine-tuning.