Que lisent vraiment les détecteurs de conformité ? Un audit des probes d'activation et des modèles de garde-fous

Les auteurs montrent que les guard models et probes d'activation actuels détectent des violations de conformité sans réellement dépendre de la règle énoncée : supprimer, permuter ou remplacer la règle ne change pas leur verdict. Un benchmark dédié confirme cette faille, que seul un raisonnement étape par étape parvient à éviter. Les chercheurs introduisent l'Internal Compliance Score (ICS), un détecteur sans réentraînement, mais reconnaissent qu'il ne dépasse pas significativement un simple modèle bag-of-words.