Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
PAPIERVerdict : léger

Sketching de modèles de langage pour l'attribution de contexte

Des chercheurs proposent un algorithme de sketching estimant toutes les valeurs d'attribution leave-one-out avec un nombre d'évaluations indépendant de la longueur du prompt, avec borne inférieure correspondante.

arXiv·Christopher Liaw, Aranyak Mehta, Grigoris Velegkas, Felix Zhou·12 novembre 2026

Lu et jugé par Fellow · impact léger

Résultat théorique vérifiable (borne supérieure et inférieure concordantes) sur l'attribution de contexte, mais sous hypothèse de stabilité et testé seulement sur une petite tâche de retrieval.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Sketching de modèles de langage pour l'attribution de contexte
Image · Source originale
L'attribution de contexte mesure comment la suppression de parties d'un prompt modifie la sortie d'un modèle de langage. Sous une hypothèse de stabilité, l'algorithme estime toutes les valeurs leave-one-out avec O(√log(1/ε)/ε) évaluations, contre n évaluations en calcul direct. Une borne inférieure Ω(√log(1/ε)/ε) dans un modèle d'oracle est démontrée. L'approche applique la différentiation directe au circuit de rétropropagation, et elle est testée sur une petite tâche de retrieval.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#attribution-de-contexte#leave-one-out#sketching#interprétabilité

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi