Fusion de modes de raisonnement : une étude systématique de l'entraînement des LLM en mathématiques

Les auteurs étudient le Thinking Mode Fusion (TMF), qui combine dans un même modèle un mode concis et un mode de raisonnement long. Ils montrent une interaction asymétrique : plus la supervision en mode concis augmente, plus la précision en mode raisonnement diminue. Le calendrier d'entraînement optimal dépend du ratio de données utilisé entre les deux modes. Code et données sont publiés via Fusion Bench.