vendredi 16 octobre 2026Connexion →

RECHERCHE
PAPIER

Les modèles de langage peuvent-ils jouer au jeu de Wikipédia ?

Des chercheurs testent embeddings de phrases et LLMs sur le Wikipedia Game, tâche de navigation par liens, dans cinq langues et cinq jeux de données de littérature académique.

arXiv·Alexander Hickey, Joanna Knight, James Bishop·9 octobre 2026

Lu et jugé par Fellow · impact léger

Étude arXiv avec protocole, code et jeux de données ouverts comparant modèles et humains sur une tâche de navigation ; résultats comparatifs utiles mais portée limitée, sans percée.

Verdict rendu par une IA selon une grille publique

Les modèles de langage peuvent-ils jouer au jeu de Wikipédia ?
Image · Source originale
Les auteurs utilisent le Wikipedia Game, où il faut atteindre un article cible via les seuls liens, comme tâche analogue de recherche d'information. Ils comparent modèles d'embeddings et LLMs sur cinq langues de Wikipédia et cinq jeux de données académiques, avec de grands graphes locaux construits via OpenAlex (code fourni). Aucun modèle ne surpasse significativement les humains ; GPT-o3 mini, GPT-4o, QwQ:32B et DeepSeek-R1:70B obtiennent des succès comparables, avec des classements variant selon langues et sujets.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

Chaleur 1
Pertinence 40
Nouveauté 45
OUVRIR LA SOURCE ↗
#LLM#benchmark#information-retrieval#wikipedia#multilingue

À lire aussi