SciExam for ENSO : un benchmark où des agents IA construisent des modèles climatiques

Des chercheurs proposent SciExam for ENSO, un benchmark où des agents IA construisent des modèles climatiques de l'ENSO (El Niño-Southern Oscillation) à partir d'observations réelles, dans un budget de six heures. Les agents écrivent leurs propres diagnostics, qui sont ensuite gelés, puis développent un modèle en s'appuyant uniquement sur ces retours. Des évaluateurs cachés testent la reproduction des statistiques, la récupération de variables non observées et les prévisions sur des années tenues à l'écart. Sur douze systèmes testés, six produisent des modèles supérieurs au modèle publié, principalement grâce à une meilleure reconstruction et prévision. Les formes simplifiées des meilleurs modèles s'alignent chacune avec l'une des deux explications concurrentes de l'asymétrie chaude-froide de l'ENSO, un débat que la tâche ne mentionne pas. Des expériences contrôlées montrent que les scores ne résultent pas de la mémorisation des données historiques.