RECHERCHE
IBIB : un protocole d'évaluation pour l'IA d'entreprise par route de service
IBIB corrige l'erreur de mesure des benchmarks classiques en évaluant la route de service et non l'identifiant du modèle.
arXiv cs.AI · cs.LG · cs.CL·Blake Stenstrom, Charangan Vasantharajan, Brian Sathianathan·9 septembre 2026
Lu et jugé par Fellow · impact léger
Protocole de mesure proposé et testé sur 11 systèmes, mais sans adoption ni validation indépendante à ce stade.
Image · Source originale
Les entreprises déploient des systèmes, pas des checkpoints. Le protocole IB2 évalue les capacités réelles via la route de service, incluant la fiabilité et les contrats de sortie. Les tests montrent que la disponibilité des capacités est variable et que la discrimination des benchmarks n'est pas uniforme.
Chaleur 18
Pertinence 70
Nouveauté 65