RECHERCHE
SocietyBench : prévision de l'évolution contrefactuelle
Un benchmark évalue la capacité des LLM à anticiper l'évolution d'événements sociaux via des scénarios contrefactuels.
arXiv cs.AI · cs.LG · cs.CL·Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi·4 août 2026
Image · Source originale
SocietyBench est un nouveau benchmark qui évalue la capacité des LLM à prévoir l'évolution du monde social en transformant des faits réels en scénarios contrefactuels. Les modèles sont notés sur leur calibration probabiliste et leur précision temporelle à partir de timelines issues de l'actualité web. Les résultats montrent que les meilleurs modèles actuels atteignent 75/100 et que les agents frameworks n'améliorent pas les performances du modèle de base.
Chaleur 0
Pertinence 65
Nouveauté 80