Attention sous-quadratique avec un indexeur hiérarchique en arbre

Le papier propose ZHA, une méthode d'attention sparse dont l'indexeur est un arbre hiérarchique de résumés de clés compressés récursivement sur le KV cache. Les requêtes le parcourent du haut vers le bas pour récupérer un sous-ensemble de clés, ce qui donne un coût global sous-quadratique mais superlinéaire. ZHA s'applique à des modèles préentraînés via une courte phase de distillation KL sur quelques milliards de tokens. Les auteurs indiquent un maintien des performances sur la récupération en contexte long, le raisonnement, les mathématiques et le coding agentique, avec une robustesse à la géométrie de l'arbre jusqu'à 6 niveaux.