KaliBench : un benchmark détaillé pour l'usage d'outils de cybersécurité sur Kali Linux

KaliBench propose 8 504 paires requête-commande couvrant 1 642 outils sur Kali Linux, répartis en 23 dimensions de capacités et 5 phases de sécurité. Le benchmark utilise une vérification multi-étapes combinant validation par LLM, exécution sandboxée et relecture humaine. Sur 24 configurations de modèles open-weight testées, aucun ne dépasse 42% de précision exacte sur les commandes générées.