Parallel-SFT : améliorer le transfert zero-shot entre langages de programmation pour le RL de code

Parallel-SFT est une méthode de fine-tuning supervisé qui intègre des « programmes parallèles » — implémentations fonctionnellement équivalentes dans plusieurs langages de programmation — dans le mélange de données d'entraînement. L'objectif est de créer une initialisation SFT plus généralisable avant le RL, afin que les gains obtenus dans un langage source se transfèrent mieux aux langages cibles non vus. L'analyse des représentations internes montre que Parallel-SFT produit un espace latent centré sur la fonctionnalité, où les programmes équivalents entre langages sont plus proches.