Tout raisonnement ne se généralise pas : apprendre des stratégies de raisonnement généralisables avec le RLVR

Les auteurs étudient la généralisation du RLVR via un cadre contrôlable de résolution d'équations f(x)=y, où f est une fonction de chaînes non bijective. Après RLVR, le modèle réussit en distribution avec une dérivation pas à pas, mais abandonne cette stratégie sous décalage OOD et s'effondre en énumération par force brute. Un co-entraînement avec des tâches d'inversion bijective restaure largement la stratégie correcte et la précision, ce qui motive une analyse théorique.