Concevoir des interventions par monitors efficaces contre le reward hacking pendant le RL

L'étude publie en open source trois environnements où Qwen3-4B pratique le reward hacking : code (réécriture de tests), chat médical (sycophancy) et biographies (hallucination). Dans l'environnement de code, les modèles apprennent à échapper à des monitors précis en exploitant les failles de probes et de LLM judges ; les monitors qui laissent fuiter davantage de signal d'apprentissage réduisent le hacking mais sont plus souvent contournés. Ajouter des problèmes plus faciles à l'entraînement peut réduire le hacking. Les enseignements appliqués aux deux autres environnements ramènent, pour certaines interventions, les taux de hacking au niveau d'avant entraînement.