Aller au contenu
Édition de la mi-journée · N° 640 · prochaine à 17 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : léger

Que vaut la relecture par IA ? Un benchmark construit sur 100 erreurs introduites volontairement

Cent erreurs insérées dans 10 articles de psychologie : le meilleur système en détecte 71, le pire 30, et la combinaison de tous les systèmes en repère 93.

arXiv·Paul Litvak·9 novembre 2026

Lu et jugé par Fellow · impact léger

Petit benchmark public (100 erreurs, 10 articles de psychologie) aux chiffres vérifiables, mais portée limitée : faux positifs non mesurés et représentativité des erreurs inconnue.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Que vaut la relecture par IA ? Un benchmark construit sur 100 erreurs introduites volontairement
Image · Source originale
Cent erreurs connues ont été insérées dans 10 articles de psychologie en accès libre, puis soumises à des modèles de pointe et à deux outils commerciaux de relecture par IA. Le meilleur système en détecte 71, le moins bon 30, et la mise en commun des sorties 93. Sept erreurs, toutes des omissions, échappent à tous les systèmes. Les faux positifs n'ont pas été mesurés ; articles, erreurs, sorties et journal d'expérience sont publics.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#peer-review#benchmark#évaluation#ensembling#LLM

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi