Lancement de Benzi, un agent de code surpassant Claude Code

Benzi se distingue des agents de programmation existants par son architecture qui refuse l'approche conventionnelle du "context dump". Contrairement aux solutions comme Claude Code ou Cursor qui agrègent souvent les fichiers dans une fenêtre de contexte espérant que le modèle saura naviguer dans la masse d'informations, Benzi compile préalablement la base de code. Il utilise un compilateur basé sur Tree-sitter pour générer une "resolved map" structurelle, cartographiant les appels, le flux de données et les références avant même que la première question ne soit posée. L'objectif est de remplacer la spéculation par une navigation indexée dans le code source. Cette carte est persistante et survit aux redémarrages, ce qui signifie que les conventions spécifiques au projet ne doivent pas être réapprises à chaque session, un atout pour la continuité des développements sur le long terme.

L'agent repose sur une boucle itérative combinant compilation, exécution et édition. Lorsqu'une modification est apportée, Benzi vérifie immédiatement la syntaxe à l'aide du véritable analyseur du langage. Si la syntaxe est brisée, la modification est automatiquement annulée. En cas de succès, l'agent calcule le "blast radius" (rayon de blast), c'est-à-dire l'ensemble des symboles modifiés, de leurs appelants et de leurs conteneurs, afin de mesurer l'impact exact du changement. Cette approche vise à sécuriser les refactorisations en s'assurant que la structure du code reste valide après chaque intervention. L'outil ne se contente pas de suggestions statiques, il intègre un "runtime tracer" qui intercepte chaque appel lors de l'exécution pour capturer les valeurs réelles des arguments et des retours, superposant ainsi des données dynamiques observées à la carte statique initiale.

En matière de recherche et d'analyse, Benzi propose des outils d'interrogation spécifiques opérant en complexité O(1) sur l'index résolu, plutôt que de s'appuyer sur des méthodes de recherche de texte brute comme grep ou des embeddings sémantiques. Les fonctions telles que skim, backflow, forwardflow et trace_path permettent de tracer la provenance d'une valeur ou de comprendre qui appelle qui sans avoir à parser manuellement les fichiers. Le système supporte dix langages majeurs, dont Python, JavaScript, TypeScript, Java, C++, Go et Rust, le tout à travers une interface unifiée. De plus, une double gestion est assurée pour le "full stack", avec un index séparé pour le HTML, le CSS et le DOM-JS, permettant de résoudre des interactions complexes comme les inclusions de front-end dans des chaînes de caractères back-end.

La vérification des changements s'effectue par l'écriture et l'exécution de scénarios de test contextuels. Benzi génère un cas de reproduction ciblé contre le code modifié, l'exécute sous le traceur et retourne les valeurs observées, sans utiliser de simulacres (mocks) ni de harnais de test générique. L'accès shell complet permet d'itérer jusqu'à la résolution du problème. L'outil se veut agnostique au modèle sous-jacent, fonctionnant avec Anthropic, OpenAI ou toute API compatible, l'intelligence résidant davantage dans la structure des outils et de la carte que dans le LLM lui-même. Les benchmarks avancés par l'auteur indiquent des résultats supérieurs à Claude Code sur Sonnet, suggérant que cette méthodologie basée sur la compilation et la preuve d'exécution pourrait offrir une précision accrue pour l'automatisation des tâches de développement complexes.