Aller au contenu
Édition du matin · N° 619 · prochaine à 13 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

BEAKER : un benchmark expert pour les cerveaux incarnés des laboratoires de chimie autonomes

Un nouveau benchmark de 1 000 questions annotées par des experts évalue 28 MLLM sur les tâches d'exécution en laboratoire de chimie autonome, de la perception à la planification de trajectoires.

arXiv·Fei Lin, Tengchao Zhang, Ziyang Gong, Xiaotong Yu·4 novembre 2026

Lu et jugé par Fellow · impact léger

Benchmark de 1 000 questions annotées par des experts, évaluant 28 MLLM, accepté à NeurIPS 2026 (Evaluations and Datasets) ; utile aux chercheurs du domaine, portée limitée à une niche.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
BEAKER : un benchmark expert pour les cerveaux incarnés des laboratoires de chimie autonomes
Image · Source originale
BEAKER évalue l'actionnabilité, les connaissances, l'expérimentation et le raisonnement incarnés dans les laboratoires de chimie autonomes. Il compte 1 000 échantillons question-réponse répartis sur 11 types de tâches image et vidéo, créés et relus manuellement par des experts, sans génération assistée par IA. Sur 28 MLLM testés, les modèles suivent des procédures expérimentales grossières en vidéo mais peinent à ancrer les actions dans des zones opérables et des trajectoires réalisables.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#MLLM#embodied-ai#chimie#laboratoires-autonomes

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi