Comment un évaluateur pourrait examiner le contrôle et la surveillance des agents IA internes

METR décrit comment un évaluateur pourrait réaliser des « control assessments », qui testent si des agents d'un développeur pourraient causer un préjudice grave sans être arrêtés par ses mesures de sécurité et de supervision. Cinq sous-questions sont retenues : couverture des monitors, vulnérabilités du système, évasion des monitors, réponse y compris l'évasion de la revue humaine, et impact. Le cadre se concentre sur la surveillance par LLM et sera mis à jour avec l'apparition de nouvelles capacités.