EarlyEval : réduire le coût de l'évaluation des agents grâce à la prédiction précoce des résultats

Évaluer des agents LLM sur des benchmarks coûte cher, chaque passage pouvant atteindre plusieurs milliers de dollars. EarlyEval entraîne des classifieurs LightGBM qui détectent le succès ou l'échec d'un agent à partir de son comportement intermédiaire, arrêtant l'exécution dès qu'un seuil de confiance est atteint. Sur trois benchmarks (SWE-bench Verified, TerminalBench, Toolathlon), la méthode élimine 13-26% des étapes et jusqu'à 44,1% des tokens d'entrée, avec une précision de 89-97% et un impact minime sur les taux de résolution.