La « fuite de réflexion » dans l'apprentissage par renforcement des LLM

Les auteurs étudient les modèles de raisonnement hybrides de type Qwen3, entraînés avec GRPO en mode NO-THINK sur Qwen3-1.7B, 4B et 8B. Les gains semblent largement dus à une réactivation partielle des capacités du mode THINK : réponses plus longues et réflexives, activations internes rapprochées du mode THINK. Remplacer un sous-espace d'activation lié à THINK dans Qwen3-8B supprime l'essentiel du gain. Le signal d'entraînement GRPO favorise des réponses plus proches du mode THINK.