Prefix Sliding : une méthode pour un test-time scaling plus efficace

Les chercheurs montrent que la plupart des tokens de raisonnement intermédiaires perdent leur importance au fil du raisonnement. Prefix Sliding ne conserve que le préfixe (instructions clés) et une fenêtre récente de tokens, plafonnant ainsi le besoin mémoire quel que soit la longueur du raisonnement. Sans entraînement, la méthode rend les modèles 3x plus rapides à performance égale ; avec entraînement par reinforcement learning, elle permet d'aller au-delà de 100 000 tokens de raisonnement.