Vitesses rapides pour le Q-learning hors ligne avec régularisation KL

L'article étudie le Q-learning hors ligne pour les MDP à horizon fini avec régularisation de Kullback-Leibler (KL). La variante KLQ atteint une complexité d'échantillonnage en Õ(1/ε) sans pessimisme explicite, mais avec une dépendance exponentielle au paramètre de régularisation et à l'horizon. KLPQ ajoute du pessimisme, conserve le même taux et supprime cette dépendance exponentielle. Selon les auteurs, ce sont les premières garanties de vitesse rapide pour le Q-learning hors ligne dans les MDP tabulaires à horizon fini régularisés par KL.