LoopVQ : quantization du KV cache sous 1 bit pour les transformers bouclés

Dans les looped transformers, le KV cache croît linéairement avec le nombre d'étapes de boucle et devient le principal goulot mémoire. LoopVQ exploite la redondance du cache sur l'axe des boucles et code conjointement les canaux de plusieurs étapes, avec des codebooks affinés pour reproduire la sortie du modèle pleine précision. À 0,5 bit par élément, il surpasse les méthodes existantes sur les modèles Ouro et Huginn. Implémenté dans SGLang, il réduit presque de moitié la latence de décodage à 32K tokens et multiplie le débit jusqu'à 4,3× et 6,1× sur Ouro 1.4B et 2.6B.