BeNice! : combler l'écart inférence-mémoire des modèles bouclés grâce au KV-sharing

Dans les architectures bouclées, chaque récurrence génère son propre KV-cache, ce qui fait croître la mémoire linéairement à l'inférence. Les auteurs étudient comment rendre le KV-sharing possible : stochastic depth au pré-entraînement, puis BeNice!, qui diffuse le KV-cache de la dernière récurrence vers la première. BeNice! permet le KV-shareability tout en égalant la perplexité de validation du finetuning standard, et se combine avec des méthodes de compression du KV-cache comme multi-latent attention ou Kimi delta attention.