FrontierML : un benchmark exigeant de machine learning de bout en bout

FrontierML est un benchmark d'agents de machine learning qui fait varier le budget de dépense (10, 50 et 200 dollars par tâche) plutôt que le temps de réflexion. Les agents choisissent l'architecture, les données, l'entraînement et le calcul, puis soumettent un serveur d'inférence évalué sur une machine H100 isolée, avec des tests hors distribution et un agent relecteur. Le benchmark compte 21 tâches inspirées du travail de laboratoires de pointe.