LaaB : cohérence logique pour améliorer la détection des hallucinations dans les LLMs

La détection des hallucinations dans les LLMs s'appuie aujourd'hui sur deux grandes familles d'approches qui coexistent sans véritablement dialoguer. La première exploite des signaux internes au modèle, dits neuronaux : distributions de probabilités, entropie des tokens, représentations dans les couches cachées. La seconde repose sur des raisonnements symboliques explicites, typiquement en demandant au modèle d'évaluer lui-même ses propres réponses via des prompts verbalisés. Ces deux paradigmes capturent des facettes complémentaires du phénomène, mais les travaux existants les traitent comme deux problèmes distincts, laissant inexploitée la relation logique qui les unit.

LaaB (Logical Consistency-as-a-Bridge), présenté par Hao Mi et ses co-auteurs de l'Académie des sciences de Chine et accepté à ACL 2026, part de l'observation suivante : lorsqu'un LLM génère une réponse puis s'auto-évalue sur cette réponse, il existe une contrainte logique naturelle entre les deux opérations. Si le modèle juge que sa réponse est correcte, l'étiquette de cette auto-évaluation doit être cohérente avec le statut factuel réel de la réponse. Inversement, si l'auto-évaluation est critique, les deux étiquettes sont opposées. Cette relation n'est pas anodine : elle constitue un pont structurel entre le niveau neuronal et le niveau symbolique.

Le cœur du framework repose sur un mécanisme appelé « méta-jugement ». Plutôt que d'utiliser le jugement symbolique produit par le modèle comme une simple étiquette de sortie, LaaB le projette dans l'espace des features neuronales, au même niveau de représentation que les signaux d'incertitude internes. Cette projection permet ensuite un apprentissage mutuel entre les deux vues, via une contrainte d'alignement qui force la cohérence logique entre réponse et auto-évaluation. Le modèle apprend ainsi à exploiter simultanément ce que les activations internes révèlent de l'incertitude et ce que le raisonnement explicite infère sur la factualité.

L'évaluation couvre 4 datasets publics standard pour la détection des hallucinations, testée sur 4 LLMs distincts, face à 8 baselines représentatives des approches neuronales et symboliques actuelles. Les résultats confirment la supériorité systématique de LaaB sur ces deux familles de méthodes. L'apport le plus notable tient précisément au fait que combiner les deux perspectives via la contrainte logique surpasse leurs meilleures variantes isolées, ce qui valide empiriquement l'hypothèse de départ : les deux types de signaux sont couplés et leur interdépendance est informatrice.

Sur le plan conceptuel, LaaB s'inscrit dans une tendance plus large qui cherche à mieux exploiter la capacité des LLMs à produire des métadonnées sur eux-mêmes — self-consistency, chain-of-thought, self-refinement — en les ancrant dans des représentations internes plutôt qu'en les traitant comme de simples sorties textuelles. L'originalité ici est de formaliser cette idée comme une contrainte d'étiquetage logique et de l'intégrer dans le pipeline de détection lui-même.

Plusieurs questions restent ouvertes. L'approche suppose que le modèle soit capable de produire des auto-évaluations suffisamment cohérentes pour être informatrices, ce qui peut ne pas tenir pour des modèles plus petits ou dans des domaines très spécialisés où l'auto-évaluation est elle-même peu fiable. La robustesse de la contrainte logique face à des cas où le modèle est systématiquement confiant dans ses erreurs — phénomène documenté dans certains régimes de fine-tuning — n'est pas discutée dans l'abstract. De même, la question de la généralisation à des tâches génératives ouvertes, au-delà des formats évalués sur des datasets bornés, méritera une attention particulière.

LaaB sera présenté à la conférence principale ACL 2026. Le paper est disponible sur arXiv sous la référence 2605.03971. L'approche constitue une contribution méthodologique à la fois pour la recherche sur la fiabilité des LLMs et pour les systèmes de production qui cherchent à intégrer des mécanismes de détection d'hallucinations sans recourir à des vérificateurs externes.