Apprendre un filtrage de mémoire personnalisé à partir d'un feedback différé et unilatéral

Les auteurs étudient le filtrage de la mémoire à long terme des agents au niveau des faits, avec une stratégie d'étiquetage selon que le fait est ensuite récupéré et utilisé dans les réponses. Ils formulent le problème comme un apple tasting contextuel avec feedback différé et unilatéral, et proposent Warm-Start UCB, qui combine apprentissage hors ligne et adaptation en ligne à l'utilisateur. Une borne de regret en haute probabilité est établie, et les expériences montrent que la méthode surpasse les baselines selon différents budgets mémoire et longueurs d'historique.