Efficacité des techniques de test pour les agents

Une étude empirique récente évalue la capacité des agents IA à appliquer des méthodologies de vérification et de test logiciel pour résoudre des problèmes techniques complexes. L'expérience repose sur l'implémentation de l'algorithme de compression Zstd en Rust, en soumettant les agents à 26 conditions distinctes, incluant des injonctions à utiliser le Test-Driven Development (TDD), des méthodes formelles comme Lean 4, Verus ou TLA+, ou encore des bibliothèques de property-based testing telles que QuickCheck et Proptest. L'objectif est de déterminer si de simples instructions ou l'ajout de compétences (skills) spécifiques permettent d'améliorer la correction du code par rapport à une configuration par défaut.

Les résultats indiquent qu'aucune technique ne surperforme de manière significative la condition par défaut, qui consiste à ne donner aucune instruction particulière sur les tests. Pire, certaines méthodes réputées robustes en génie logiciel classique, comme le TDD, ont entraîné une baisse de performance. L'injonction à suivre le TDD a modifié le comportement des agents, les incitant à produire un volume nettement plus élevé de tests de manière itérative. Cependant, ces tests s'avèrent souvent triviaux ou mal conçus, comme l'utilisation de flux de données identiques pour valider des fonctions nécessitant des entrées distinctes, conduisant à une validation erronée de comportements défaillants.

L'analyse des échecs met en évidence une incompréhension fondamentale des outils par les modèles. Lorsqu'il leur est demandé d'utiliser des méthodes formelles (SMT solvers, model checking), les agents tendent à réaliser des preuves sur des propriétés abstraites ou triviales, sans lien avec les parties du code susceptibles de contenir des bugs. Par exemple, avec Verus, ils ont souvent démontré des tautologies (A => A) ou vérifié des bornes arithmétiques simples, évitant les zones complexes de la logique de compression. De même, pour le property-based testing, les agents génèrent des entrées aléatoires qui déclenchent majoritairement des chemins de rejet d'entrée invalide, plutôt que de stimuler la logique interne de l'algorithme.

Les "skills", ou fichiers d'instructions conçus pour guider les agents, n'ont pas non plus démontré d'efficacité probante. Les compétences populaires, telles que la ECC Rust test skill, ont souvent dégradé les résultats ou alourdi les coûts computationnels sans gain de qualité. L'étude suggère que ces skills agissent davantage comme des tutoriels volumineux que comme des directives opérationnelles efficaces, distractant l'agent ou l'enfermant dans des processus inefficaces comme l'écriture excessive de tests unitaires classiques peu pertinents.

Ces observations soulèvent des questions sur l'entraînement des modèles actuels. Alors que les laboratoires d'IA ont pu créer des environnements d'apprentissage par renforcement (RL) pour optimiser des problèmes à temps d'exécution borné, l'apprentissage de techniques de test efficaces semble avoir été négligé. Les agents ne savent pas "chercher là où se trouvent les bugs", se concentrant sur des tests faciles à implémenter mais peu couvrants. L'auteur émet l'hypothèse que la relative impopularité des techniques de test avancées dans la communauté des développeurs pourrait expliquer le manque de données d'entraînement pertinentes, contrairement aux méthodes formelles plus médiatisées. En attendant une éventuelle évolution des modèles vers une intrinsèque fiabilité du code, la nécessité d'une expertise humaine pour guider la vérification reste critique.