Aller au contenu
Édition de la mi-journée · N° 556 · prochaine à 17 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

RefCraft : évaluer la génération agentique conditionnée par des références visuelles via le développement web

Un nouveau benchmark de 300 tâches de développement de pages web à partir de captures d'écran de référence montre que les modèles actuels peinent : le meilleur système n'atteint que 52,12/100.

arXiv·Yuchi Wang, Rongyao Fang, Weihao Yu, Xilin Wei·19 octobre 2026

Lu et jugé par Fellow · impact léger

Nouveau benchmark de 300 tâches avec keypoints vérifiables et juges programmatiques/VLM, évalué sur neuf modèles ; utile aux chercheurs mais portée limitée, sans modèle ni outil nouveau.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

RefCraft : évaluer la génération agentique conditionnée par des références visuelles via le développement web
Image · Source originale
RefCraft est un benchmark de 300 tâches multimodales réalistes de développement web, combinant instructions en langage naturel et captures d'écran d'une à cinq pages de référence. Les agents doivent interpréter ces références de façon sélective, puis rendre, inspecter visuellement et affiner leurs productions. L'évaluation repose sur des keypoints vérifiables et des juges programmatiques et VLM. Sur neuf (M)LLMs de pointe, le meilleur score global est de 52,12 sur 100.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#agents#web-development#multimodal#vlm

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi