L'emplacement des arrondis compte : l'alignement des points d'arrondi stabilise le reinforcement learning des LLM

Dans le RL pour LLM, des différences d'implémentation entre inférence et entraînement, même avec des poids et tenseurs BF16 identiques, peuvent rendre une mise à jour on-policy off-policy et déstabiliser l'entraînement. Les auteurs alignent les points d'arrondi côté entraînement avec l'inférence dans RoPE, SwiGLU et RMSNorm résiduel, en conservant certains intermédiaires en FP32 jusqu'à leur sortie BF16. Sur quatre modèles Qwen, l'alignement des trois zones évite l'effondrement observé avec la baseline BF16 ; l'alignement du seul chemin RoPE suffit dans les essais étudiés. Moteur d'inférence, noyaux et objectif d'apprentissage restent inchangés.