RECHERCHE
RATIO : benchmark pour la récupération d'idéations scientifiques
RATIO évalue la capacité des systèmes à récupérer de la littérature scientifique pour l'inspiration via des opérations d'idéation typées.
arXiv cs.AI · cs.LG · cs.CL·Maayan Sharon, Tom Hope·27 août 2026
Lu et jugé par Fellow · impact notable
Publication d'un benchmark et d'un dataset à grande échelle pour évaluer la recherche documentaire scientifique.
Image · Source originale
RATIO est un benchmark à grande échelle conçu pour évaluer la récupération de littérature scientifique selon trois opérations d'idéation : Address, Broaden et Specify. Construit à partir de millions de papiers en CS via une supervision à distance, il montre que le fine-tuning spécifique améliore les retrievers mais reste perfectible.
Chaleur 0
Pertinence 75
Nouveauté 80