NVIDIA AVO atteint 100% sur ARC-AGI-3

L'efficacité d'un système d'IA autonome ne repose pas uniquement sur la puissance du modèle de langage qu'il emploie, mais sur l'architecture qui l'entoure, souvent désignée sous le terme de "harness". C'est ce que démontre NVIDIA avec AVO (Agentic Variation Operators), une approche système qui a permis d'atteindre un score parfait de 100% sur le benchmark ARC-AGI-3. Ce résultat suggère que la capacité à maintenir un effort sur le long terme est une propriété structurelle, se situant au niveau de l'agent plutôt qu'au niveau intrinsèque du LLM.

La conception d'AVO se concentre sur la gestion de tâches longues ("long-horizon"), où l'agent doit opérer sur de multiples étapes sans supervision humaine. L'architecture repose sur deux mécanismes clés : la mémoire persistante et la supervision. La mémoire persistante permet de conserver les implémentations précédentes, les résultats d'évaluation et le raisonnement accumulé, évitant ainsi à l'agent de reconstruire le contexte à chaque nouvelle itération. Le superviseur, quant à lui, observe la trajectoire globale de la recherche et intervient pour rediriger l'agent principal lorsque le progrès stagne. Cette structure a d'abord été validée dans un domaine technique complexe, l'optimisation de GPU-kernels, où AVO a fonctionné de manière autonome pendant sept jours, produisant des noyaux plus performants que ceux de cuDNN et FlashAttention-4.

La transition vers le benchmark ARC-AGI-3 marque une étape importante dans la validation de la généralité de cette architecture. Contrairement à l'optimisation de code, ARC-AGI-3 est un test de raisonnement interactif où l'agent évolue dans des environnements inconnus sans instructions ni règles explicites. L'objectif est d'inférer la dynamique du système et de découvrir les buts par l'interaction. En appliquant la même architecture AVO à ce défi, NVIDIA a obtenu un score de 100.00 RHAE (Relative Human Action Efficiency) sur l'ensemble public, réussissant les 183 niveaux. Plus remarquable encore, le système a utilisé environ 12% d'actions en moins que VISTA, une autre référence utilisant le même modèle Claude Opus 5, bien qu'une comparaison directe reste difficile en raison des différences de représentation des observations et de gestion de la mémoire.

Ces résultats mettent en lumière la distinction fondamentale entre l'évaluation d'un modèle et celle d'un agent. Si les modèles "frontière" comme Claude Opus 5 ou GPT-5.6 Sol fournissent les capacités de raisonnement de base, c'est l'architecture de l'agent qui convertit ce potentiel en progression autonome efficace. AVO utilise une interface textuelle stricte (grille 64 x 64) pour ARC-AGI-3, sans traitement d'image, démontrant que la robustesse du système provient de sa boucle de rétroaction : formuler des hypothèses, agir, observer les conséquences et mettre à jour l'état interne. Les tests préliminaires avec GPT-5.6 Sol indiquent par ailleurs que l'architecture AVO est capable de s'adapter à différents modèles avec des profils de performance complémentaires.

Ces performances, limitées actuellement au jeu de données public d'ARC-AGI-3, ouvrent des perspectives sur la conception de futurs agents logiciels. Elles suggèrent que pour réussir des tâches complexes nécessitant de la persévérance, l'effort de recherche doit porter sur la "machinerie" système qui permet la compilation des preuves et la maintenance de l'état, plutôt que sur la seule augmentation de la taille des modèles. L'approche d'NVIDIA valide ainsi l'idée que le "harness" est le déterminant majeur de la fiabilité des agents sur des tâches étendues.