La fragilité des chemins d'attention comme signal d'incertitude dans les LLM

Des chercheurs proposent ASMI, un estimateur sans entraînement qui masque des têtes d'attention et mesure l'information mutuelle entre les sous-réseaux résultants pour détecter l'incertitude cachée. Ce signal complète la confiance et l'entropie classiques, identifiant les prédictions confiantes mais fragiles. Sur des benchmarks de QA ancrée, la méthode égale ou dépasse l'Entropie Sémantique sur dix des douze configurations testées, avec un coût computationnel réduit.