WorldCup Arena : évaluer les LLM frontière sur un tournoi en direct, sans fuite de données
Six LLM de pointe testés en temps réel sur les 104 matchs de la Coupe du monde 2026, avec des prédictions faites avant que le résultat n'existe.
arXiv cs.AI · cs.LG · cs.CL·Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi·4 août 2026

Image · Source originale
Sur 39 jours, six LLM frontière équipés de recherche web ont dû prédire chaque match avant le coup d'envoi, générant 4 494 prédictions notées sans possibilité de mémorisation. Les modèles atteignent 63,9% de précision sur le résultat des matchs, proche du simple choix du favori des bookmakers. Ils convergent fortement entre eux sans être plus précis, sous-estiment les matchs nuls et voient leur précision chuter sur les rencontres les plus serrées.
#benchmark#évaluation-llm#forecasting#leakage-free