Règle Delta de Kronecker pour l'attention linéaire à contexte long

Les auteurs proposent KronLSTM, une architecture d'attention linéaire fondée sur la Kronecker Delta Rule, nouvelle règle de mise à jour des mémoires matricielles associatives. Elle corrige des associations ciblées en ne modifiant la mémoire que selon une direction, ce qui réduit les interférences par rapport aux règles delta. La norme attendue de la mémoire reste bornée sans normalisation additionnelle. Les expériences la donnent compétitive face aux modèles (Gated) DeltaNet, notamment sur les benchmarks à contexte long. Code et modèles sont open-source.