Faire co-évoluer harness et modèle : la correction on-policy aide les modèles faibles à combler leur retard

Sur sept tâches agentiques d'entreprise, entraîner un modèle plus faible sur les trajectoires complètes d'un expert dégrade les performances de 4 à 30 points, car le modèle adopte une stratégie de planification qu'il ne maîtrise pas et qui ne correspond plus au harness évolué pour son style natif. Les auteurs proposent un pipeline de correction on-policy, piloté par un agent MLE méta-niveau, qui localise le tour défaillant dans le rollout du modèle faible et fait réécrire uniquement ce tour par l'expert. Cette approche préserve le style de planification du modèle tout en combinant les gains du harness et de la supervision experte.