Même simulation, preuves différentes : le coût en précision de la récupération des sorties d'outils chez les agents LLM

Les auteurs étudient les agents LLM qui consultent à la demande de longues sorties d'outils enregistrées dans des fichiers, avec PHREEQC (USGS) et 158 questions à choix multiples vérifiées par exécution. GPT-5.1 et GPT-5.2 perdent 11,3 et 7,9 points, contre aucun coût détectable pour Claude Opus 4.6 et Sonnet 4.6. Le relancement de 11 007 appels montre une « substitution de preuve » : les agents ignorent le rapport, répondent depuis leurs propres fichiers plus précis et arrondissent vers une option voisine. Nommer la sortie de référence gagne 6,3 à 7,9 points pour les trois modèles GPT.