Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
SAFETY
PAPIERVerdict : léger

Au-delà du F1 : évaluer la couverture et la récupération des scanners de sécurité IA

Une étude benchmark critique les métriques classiques pour évaluer la détection de code malveillant dans les artefacts machine learning.

arXiv·Qianlong Lan, Vinothini Pandurangan, Anuj Kaul, Indranil Sanyal·27 août 2026

Lu et jugé par Fellow · impact léger

Benchmark académique sur corpus synthétique de 170 artefacts, protocole documenté mais portée limitée à trois outils existants.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Au-delà du F1 : évaluer la couverture et la récupération des scanners de sécurité IA
Image · Source originale
Cette étude évalue trois scanners de sécurité statique (ModelScan, ModelAudit, Fickling) sur un corpus de 170 artefacts. Elle distingue la précision du jugement de sa disponibilité, montrant que ModelAudit couvre 100% des familles labellisées alors que ModelScan échoue souvent à compléter l'analyse. Les résultats soulignent la nécessité de séparer l'exactitude de la couverture effective des outils.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#model-scanning#security#pickle#pytorch#evaluation

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi