Évaluations de contrôle simulées : simuler les réponses d'outils avec un modèle de langage

Les évaluations de contrôle mesurent si des garde-fous empêchent un modèle d'IA de causer des résultats indésirables, même s'il essaie délibérément d'y parvenir. Les auteurs introduisent les évaluations de contrôle simulées (SCE), où un modèle de langage simule les réponses d'outils. Testées sur LinuxArena, elles prédisent la sécurité avec une RMSE de 3,6 points de pourcentage contre 10,1 pour BashArena, avec une divergence KL plus de dix fois inférieure. Elles expliquent 78 à 85 % de la variance entre environnements.