Fiabilité des pseudo-labels par vote majoritaire dans le reinforcement learning au moment du test

Le test-time reinforcement learning (TTRL) adapte des modèles de langage à des données non étiquetées via des pseudo-labels auto-générés. L'étude décompose l'erreur du vote majoritaire avec DPO en ligne en biais de majorité de la population et variation liée au nombre fini de rollouts. PC-Dr.DPO pondère de façon robuste selon la fiabilité des votes, avec un mécanisme de cache contre l'oubli. Sur six benchmarks et cinq backbones, elle égale ou surpasse la meilleure baseline TTRL dans 24 des 30 configurations.