Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : notable

Des LLM face au jeu TIS-100 de Zachtronics : 16 modèles évalués sur 55 puzzles

Seize LLM ont joué à TIS-100 sans accès au classement communautaire : ils ont établi 133 nouveaux points de frontière, dont 3 records de cycles, rapidement repris par des joueurs.

tis-100.wincon.dev·repéré via Hacker News·3 novembre 2026

Lu et jugé par Fellow · impact notable

Évaluation détaillée de 16 LLM sur 55 puzzles, avec vérification sur 100 000 tests et 133 nouveaux points de frontière dont 3 records de cycles ; résultat vérifiable mais de portée de niche.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Des LLM face au jeu TIS-100 de Zachtronics : 16 modèles évalués sur 55 puzzles
Image · Source originale
Seize LLM, frontier et open-weights, ont tenté les 47 puzzles du jeu et 8 puzzles de tournoi communautaires, en un essai (pass@1) de 10 à 45 minutes par puzzle. Ils ont produit 133 nouveaux points de frontière sur 18 puzzles sur 55, dont 3 records de cycles. Opus 5.5 et GPT-6 Astra mènent : tous deux résolvent les 55 puzzles et trouvent des points nouveaux sur 11 puzzles (72 contre 32 points). Leur écart de proximité aux records (78,0 contre 77,2) n'est pas significatif.

Traduit et résumé par IA à partir de l'article de tis-100.wincon.dev ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#benchmark#LLM#TIS-100#programmation#évaluation

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi