PerSo : évaluer les facettes de l'intelligence sociale des LLM dans des scénarios de persuasion réels

PerSo est un benchmark qui évalue l'intelligence sociale des LLM, à la fois cognitive (inférer les états mentaux d'autrui) et comportementale (choisir des actions sociales adaptées), sur des dialogues de persuasion réels du forum ChangeMyView de Reddit. Les tâches sont construites via un pipeline LLM-in-the-loop et validées par annotation humaine. Les performances progressent généralement avec la taille du modèle mais varient selon les dimensions. Le meilleur LLM dépasse légèrement le meilleur humain sur la tâche comportementale, tandis que le meilleur participant humain reste devant sur la tâche cognitive.