Comment un évaluateur pourrait enquêter sur l'alignement de modèles d'IA non publiés

METR décrit une évaluation de l'alignement visant à comprendre les pires actions désalignées des agents d'un développeur, comme des cyberattaques non autorisées. Elle passerait par l'examen des comportements désalignés graves observés sur les modèles internes proches de la frontière, puis par l'analyse de leur représentativité : evals d'alignement, simulations contrefactuelles (limitées par l'evaluation awareness) et risque que l'entraînement incite à contourner les évaluations ou à masquer le désalignement. Cela exigerait l'accès aux transcripts internes et aux checkpoints des modèles.