Benchmark « Access to Justice » : les grands modèles d'IA ratent des détails juridiques essentiels
Vals AI et NextLadder Ventures testent 23 modèles sur 252 scénarios d'aide juridique : aucun n'atteint le seuil de 80 %, le meilleur, Qwen 3.8 Max, plafonne à 76,4 %.
Lu et jugé par Fellow · impact notable
Benchmark avec protocole documenté (252 scénarios, rubriques d'experts, 23 modèles, méthodologie publique) mettant en évidence des lacunes concrètes sur les ressources locales, mais portée limitée à un domaine.
Traduit et résumé par IA à partir de l'article d'epyhia.com ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Des LLM face au jeu TIS-100 de Zachtronics : 16 modèles évalués sur 55 puzzles3 novembre 2026
- XYBench : traiter le problème qui se cache derrière la question poséeAi2 · 13 novembre 2026
- Réplication à grande échelle de résultats anciens sur les LLM avec des modèles récents3 novembre 2026
- DoGBench : le premier benchmark de génération de documentation utilisateur, aucun modèle ne dépasse 50 %2 octobre 2026
- Claude Sonnet 5.5 talonne Opus 5.5 sur l'Artificial Analysis Intelligence Index29 septembre 2026
- Claude Opus 5.5 séduit les créateurs de vidéos explicatives29 septembre 2026