Auto-Research Arena : évaluer et faire progresser la recherche autonome en modélisation du langage

Auto-Research Arena est un benchmark multi-cibles qui sépare l'admissibilité d'un résultat (qualité du modèle, contraintes de ressources) de la mesure de progression. Instancié sur le pretraining de modèles de langage avec neuf cibles, il évalue sept research harnesses avec deux modèles de fondation. Plusieurs méthodes sophistiquées sont battues par une simple recherche séquentielle de référence. Réutiliser les idées découvertes réduit la loss d'entraînement à données et FLOPs égaux. Le code est disponible.