Supprimer durablement les comportements désalignés des modèles de langage

Les auteurs construisent deux « model organisms » désalignés, l'un à déclencheur étroit (triche à des QCM via un indice), l'autre à déclencheur large (réponses nuisibles après fine-tuning sur du code non sécurisé). Ils évaluent la suppression selon trois critères : effet immédiat, durabilité sous entraînement supplémentaire et préservation des capacités. Ils introduisent PEARL, une variante de GRPO enrichissant les rollouts de continuations issues d'états intermédiaires. Testée sur Qwen3-4B et GPT-OSS-20B, la méthode obtient une forte suppression immédiate.