Show HN : Parsimony, un benchmark open source mesurant la quantité de code ajoutée par les modèles d'IA

Parsimony reprend les patchs publiés par des benchmarks existants comme SWE-bench Verified et compte les unités de code (instructions, appels, comparaisons, noms, littéraux) ; le code supprimé est soustrait. Les modèles sont classés selon la moyenne d'unités nettes ajoutées sur les tâches résolues. L'outil ne mesure que Python, ne relance pas les tests et précise que moins de code n'est pas toujours préférable. Les utilisateurs peuvent charger leurs propres résultats.