Bornes de temps d'atteinte pour le Q-learning asynchrone

L'étude porte sur le dernier itéré du Q-learning asynchrone standard, à partir d'une trajectoire unique d'un MDP fini suivant une politique de comportement fixe, dont la chaîne état-action est irréductible et éventuellement périodique. Le Q-learning initialisé à zéro avec un pas constant atteint une erreur en norme sup ≤ ε avec grande probabilité en Õ(H^4/(μ_min ε²)+h⋆) transitions. Une règle fondée sur les comptages état-action empiriques choisit le pas sans connaître les paramètres du modèle, la précision cible ni le niveau de confiance. La preuve s'appuie sur deux enveloppes de Bellman déterministes.