Aller au contenu
Édition du matin · N° 567 · prochaine à 13 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : léger

Abstention sensible aux coûts pour la classification de tickets IT par LLM

Une étude hors ligne sur 47 837 tickets montre qu'une politique d'abstention calibrée réduit le coût de routage de 38,1 %, tandis que les LLM en prompting restent loin d'un DistilBERT fine-tuné.

arXiv·Sachin Gupta·22 octobre 2026

Lu et jugé par Fellow · impact léger

Évaluation hors ligne rigoureuse (IC bootstrap, 47 837 tickets) mais portée limitée à un jeu de données, des coûts illustratifs et un cadre d'évaluation, sans nouvel algorithme.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Abstention sensible aux coûts pour la classification de tickets IT par LLM
Image · Source originale
Les auteurs évaluent l'abstention sensible aux coûts pour le routage de tickets IT : la politique est choisie sur des données de calibration puis testée une fois sur des données held-out. Sur un corpus public de 47 837 tickets en huit classes, TF-IDF avec régression logistique (seuil 0,60) fait passer le coût de 0,763 à 0,472 et les erreurs de routage de 15,3 % à 3,5 %. La meilleure configuration par prompting atteint 0,477 d'accuracy, contre 0,879 pour DistilBERT fine-tuné. La recalibration isotonique réduit l'ECE sans améliorer de façon fiable la discrimination.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#abstention#classification-de-tickets#calibration#LLM#coût

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi