Dynamiques spectrales et de sous-espaces de LoRA en fine-tuning supervisé et en apprentissage par renforcement

Sur des tâches de raisonnement mathématique, le RL concentre le spectre singulier des mises à jour LoRA à tous les learning rates, tandis que le SFT l'étend à learning rate modéré ; le RL fait aussi pivoter les sous-espaces plus vite à faible learning rate. Les auteurs attribuent ces écarts à la soustraction de la baseline par moyenne de groupe, via un modèle multi-index quadratique. Des mises à jour LoRA ajustées pour chaque étape obtiennent les meilleures performances parmi les méthodes comparées dans la plupart des évaluations.