Aller au contenu
Édition du matin · N° 595 · prochaine à 13 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : léger

Témoignage des chronologies : test de significativité fondé sur les preuves pour des hypothèses cliniques temporelles

STRATA, un benchmark de 8 735 hypothèses sur des rapports d'effets indésirables vaccinaux, évalue chaque étape du raisonnement des LLM, au-delà du seul verdict final.

arXiv·Chengyang He, Wenlong Zhang, Koduvayur Subbalakshmi, Ping Wang·29 octobre 2026

Lu et jugé par Fellow · impact léger

Benchmark de 8 735 hypothèses avec oracle déterministe et codebook publié, utile pour évaluer le raisonnement statistique des LLM, mais portée limitée au domaine des effets indésirables vaccinaux.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Témoignage des chronologies : test de significativité fondé sur les preuves pour des hypothèses cliniques temporelles
Image · Source originale
Les auteurs présentent STRATA, un benchmark de 8 735 hypothèses temporelles sur les chronologies cliniques de rapports d'effets indésirables vaccinaux, avec plans de référence, ensembles de preuves, p-values et verdicts reproduits par un oracle déterministe. Ils proposent aussi ART (articulate, retrieve, test), un paradigme par étapes. Les systèmes échouent surtout dans le choix des enregistrements pertinents ; ART réduit l'essentiel de cet écart et rapproche un modèle open de 31B à 0,01 des modèles frontier.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#LLM#santé#test-statistique#analyse-de-données

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi