ARC-AGI : nouveau classement publié

Le classement publié sur arcprize.org organise désormais les résultats autour de trois versions distinctes du benchmark, chacune correspondant à une génération différente de défis. ARC-AGI-1 et ARC-AGI-2 mesurent ce que les concepteurs appellent une intelligence fluide passive : la capacité d'un modèle à résoudre, en une seule tentative, des grilles logiques inédites sans interaction avec un environnement. ARC-AGI-3, plus récent, change de nature en évaluant des agents capables de s'adapter en temps réel à des environnements interactifs nouveaux, ce qui rapproche l'exercice d'une forme de raisonnement séquentiel et d'apprentissage en contexte plutôt que d'une simple résolution ponctuelle.

L'apport principal de ce classement ne réside pas seulement dans les scores bruts, mais dans la mise en relation systématique entre performance et coût par tâche, visualisée sous forme de nuage de points. Cette approche traduit un parti pris explicite des auteurs du benchmark : une intelligence artificielle qui atteint un score élevé en mobilisant des ressources de calcul disproportionnées ne démontre pas la même qualité de raisonnement qu'un système efficace. Le classement distingue ainsi trois catégories de soumissions. Les systèmes de raisonnement, dont les points reliés par des lignes de tendance représentent un même modèle testé à différents niveaux d'effort de raisonnement, permettent d'observer un comportement typiquement asymptotique : au-delà d'un certain temps de réflexion supplémentaire, les gains de performance s'amenuisent. Les LLM de base, comme GPT-4.5 ou Claude 3.7 utilisés en inférence directe sans mécanisme de raisonnement étendu, servent de point de comparaison pour isoler l'apport réel des techniques de reasoning. Enfin, les systèmes issus de la compétition Kaggle, contraints à un budget de calcul strict de 50 dollars pour 120 tâches d'évaluation, illustrent des méthodes spécifiquement optimisées pour ce concours, où l'efficacité compte autant que la précision.

Le site précise également sa politique de vérification et ses règles d'affichage : seuls les systèmes ayant coûté moins de 10 000 dollars à exécuter figurent dans le classement, une limite qui écarte de facto les approches les plus gourmandes en ressources, potentiellement compétitives sur le score mais jugées non pertinentes du point de vue de l'efficacité. Les tâches que certains modèles n'ont pas pu traiter intégralement sont comptabilisées comme incorrectes, ce qui pénalise les systèmes incomplets plutôt que de les exclure silencieusement. Certains résultats sont signalés comme "preview", c'est-à-dire non officiels et susceptibles de reposer sur des tests partiels, notamment pour des estimations de score ARC-AGI-2 basées sur une tarification o1-pro ou des estimations provisoires de coût alignées sur la tarification de Gemini 3 Pro, modèle destiné à être retesté une fois officiellement disponible.

Cette architecture de classement reflète une évolution plus large dans la manière d'évaluer les grands modèles de langage : le passage d'une mesure isolée de la justesse des réponses vers une évaluation combinée de la performance et du coût, incluant désormais la capacité d'agents à interagir avec des environnements dynamiques plutôt qu'à répondre à des questions statiques. Pour les organisations qui suivent ces benchmarks afin d'orienter leurs choix de modèles, cette granularité permet de mieux distinguer les gains de raisonnement réellement transférables des simples effets d'échelle de calcul. Restent en suspens plusieurs questions que l'article ne tranche pas explicitement : la manière dont ARC-AGI-3 sera intégré à terme dans les comparaisons historiques avec les deux premières versions, la robustesse des estimations provisoires une fois les modèles concernés officiellement lancés, et la façon dont la limite de 10 000 dollars pourrait évoluer à mesure que les coûts d'inférence des modèles de raisonnement les plus avancés continuent de croître.