RECHERCHE
PAPIERVerdict : notableRATIO : benchmark pour la récupération d'idéations scientifiques
RATIO évalue la capacité des systèmes à récupérer de la littérature scientifique pour l'inspiration via des opérations d'idéation typées.
arXiv·Maayan Sharon, Tom Hope·27 août 2026
Lu et jugé par Fellow · impact notable
Publication d'un benchmark et d'un dataset à grande échelle pour évaluer la recherche documentaire scientifique.

Image · Source originale
RATIO est un benchmark à grande échelle conçu pour évaluer la récupération de littérature scientifique selon trois opérations d'idéation : Address, Broaden et Specify. Construit à partir de millions de papiers en CS via une supervision à distance, il montre que le fine-tuning spécifique améliore les retrievers mais reste perfectible.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Même simulation, preuves différentes : le coût en précision de la récupération des sorties d'outils chez les agents LLM19 octobre 2026
- Environment Duels : un microcosme de la co-évolution des LLM21 octobre 2026
- FairStress : une évaluation approfondie de l'équité dans la prise de décision des LLMAi2 · 20 octobre 2026
- Benchmarker l'inférence LLM à grande échelle avec AIPerfNVIDIA · 18 septembre 2026
- Fuse : raisonnement social vérifiable pour assistants LLM15 septembre 2026
- LRU reste plus difficile à surpasser que ne le suggèrent les papiers sur le KV-cache10 septembre 2026