QuasiMoTTo : mise à l'échelle de l'inférence par quasi-Monte Carlo

QuasiMoTTo propose de remplacer l'échantillonnage i.i.d. standard par des échantillons corrélés générés via la méthode quasi-Monte Carlo (QMC), appliquée à un reparamétrage de l'échantillonnage autorégressif. Cette approche réduit la redondance dans le scaling de l'inférence tout en conservant la distribution marginale du modèle de langage, ce qui la rend compatible avec l'entraînement par policy gradient. Les auteurs développent également un estimateur bootstrap non biaisé adapté aux samplers corrélés, et valident la méthode sur plusieurs benchmarks de raisonnement.