Vous n'avez pas besoin d'un contexte long

Les auteurs observent que les tokens tardifs coûtent plus cher à générer, jusqu'à 7x sur les modèles open-weights de pointe. Grâce à une compaction fréquente, les modèles conservent leur précision sur de nombreuses tâches longues. Les performances ne s'effondrent pas sur des tâches de génie logiciel même avec une seule action par contexte, ce qui conduit au concept de semantic state space models (SSSMs).