Aller au contenu
Édition du matin · N° 587 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE · Ai2
PAPIERVerdict : notable

Peut-on faire confiance aux LLM pour juger la nouveauté d'une idée de recherche ?

Le travail « Old Ideas, Novel Problems » d'Ai2 teste la fiabilité des LLM pour évaluer la nouveauté d'idées de recherche : de petits changements de protocole suffisent à produire des verdicts très différents.

Ai2·27 octobre 2026

Lu et jugé par Fellow · impact notable

Benchmark, données et code publiés ; résultats chiffrés (précision 93,5 % → 40,9 % selon le prompt, évaluateurs dédiés battus par un baseline Claude moins cher) qui remettent en cause les juges de nouveauté LLM.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Peut-on faire confiance aux LLM pour juger la nouveauté d'une idée de recherche ?
Image · Source originale
Hugging Face relaie la même étude d'Ai2 (benchmark, données et code pour juger la nouveauté d'idées de recherche par LLM). Ajout : sur six juges, modifier quelques mots du prompt fait varier la précision de plus de 50 points ; retrieval et raisonnement additionnel n'améliorent pas systématiquement, et deux systèmes dédiés font moins bien qu'un Claude Opus 4.6 promptée.

Traduit et résumé par IA à partir de l'article d'Ai2 ↗ · Comment Fellow travaille

#llm-as-judge#évaluation#nouveauté#ai2#recherche

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi