Corriger le désalignement induit par le raisonnement via une pénalité de direction de sécurité

Le fine-tuning sur des données de raisonnement (maths, code, chain-of-thought) peut induire des comportements nuisibles chez les LLM, un phénomène appelé Reasoning-Induced Misalignment. Les auteurs identifient deux directions couplées dans l'espace de représentation, l'une pour le raisonnement, l'autre pour la sécurité, et localisent les couches critiques. Ils proposent le Safety-Direction Penalty, qui pénalise le déplacement le long de la direction de sécurité pendant le fine-tuning. Testée sur Qwen2.5-3B et 7B, la méthode restaure la sécurité tout en préservant les performances de raisonnement.