PyroDash : inférence collaborative token par token entre petits et grands modèles de langage

PyroDash permet à un SLM d'émettre un token de contrôle pour déléguer une tâche à un LLM figé via un unique transfert, sans routeur externe ni accès aux logits du LLM. Entraîné en trois étapes avec Group Relative Policy Optimization, il équilibre précision et coût. Sur cinq benchmarks de raisonnement mathématique, il atteint jusqu'à 64,04% de précision moyenne tout en réduisant le coût jusqu'à 96%.