Aller au contenu
Édition de la mi-journée · N° 556 · prochaine à 17 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

ProteinGeoBench : les agents de biologie structurale de pointe excellent en recherche d'information mais échouent en géométrie

Une étude sur 131 tâches de structure protéique montre que les agents de pointe récupèrent bien les métadonnées mais calculent moins fiablement la géométrie, et que le classement dépend de la configuration d'évaluation.

arXiv·Matt Turk, Brandon L. Neel, Diana M. Lopez, Zachary D. Smith·19 octobre 2026

Lu et jugé par Fellow · impact léger

Benchmark public de 131 tâches avec résultats chiffrés et limites assumées ; montre que le classement dépend du budget et du harnais, utile mais d'une portée limitée à l'évaluation d'agents.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

ProteinGeoBench : les agents de biologie structurale de pointe excellent en recherche d'information mais échouent en géométrie
Image · Source originale
ProteinGeoBench regroupe 131 tâches de structure protéique, évaluées via 4 249 rollouts de quatre modèles de pointe et 4 486 essais sur 26 modèles. Trois modèles sont dans un écart de 0,031 (0,785 à 0,816), le quatrième obtient 0,707. Les tâches numériques, 28 sur 131, forment la moitié des douze tâches échouées par tous. Le classement varie selon le budget d'évaluation : avec un seul run par tâche, 23,9 % des réplicats bootstrap placent un autre modèle en tête.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#agents#biologie-structurale#évaluation#protéines

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi