Explorer l'espace de conception de l'attribution de données pour les modèles de langage

Les auteurs introduisent le Controlled Attribution Benchmark (CATT) pour le fact tracing : des LLM sont fine-tunés sur des connaissances entièrement fictives, ce qui fournit une vérité terrain sans ambiguïté. La redondance et les distracteurs lexicaux dégradent systématiquement l'attribution. L'évidence causale est très localisée dans un document, mais la moyenne des scores par token la dilue. Les gradients de log-odds négatifs, associés à une agrégation des seuls tokens les plus élevés, améliorent le rappel.