Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE · Ai2
PAPIERVerdict : notable

XYBench : traiter le problème qui se cache derrière la question posée

Ai2 présente XYBench, un benchmark de 8 115 questions qui évalue la capacité des LLMs à repérer les idées fausses dans une requête et à rediriger vers l'objectif réel de l'utilisateur.

Ai2·13 novembre 2026

Lu et jugé par Fellow · impact notable

Benchmark ouvert de 8 115 questions avec protocole, validation humaine du juge et résultats chiffrés sur cinq modèles ; avance de recherche réelle mais incrémentale pour l'évaluation des LLMs.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
XYBench : traiter le problème qui se cache derrière la question posée
Image · Source originale
XYBench est un benchmark de 8 115 questions publié par Ai2, développé avec Carnegie Mellon, NVIDIA et Johns Hopkins. Issues de situations réelles (programmation, cuisine, bricolage), les questions reposent sur le « problème XY ». Le benchmark teste si les LLMs détectent les idées fausses et réorientent la réponse vers l'objectif réel. Les cinq modèles testés, dont Claude Sonnet 4.6, GPT-5 et Gemini 3.1 Pro, restent souvent centrés sur l'approche erronée, contrairement aux réponses humaines de ré

Traduit et résumé par IA à partir de l'article d'Ai2 ↗ · Comment Fellow travaille

#benchmark#LLM#Ai2#évaluation

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi