Proteus : activation mémoire incrémentale pour le long contexte
Une nouvelle méthode régulant la capacité mémoire dynamique pour améliorer le traitement de longues séquences.
arXiv cs.AI · cs.LG · cs.CL·Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville·17 août 2026
Lu et jugé par Fellow · impact notable
Papier de recherche présentant une méthode vérifiable améliorant les performances de modèles existants sur des tâches de long contexte.

Image · Source originale
Proteus propose un paradigme d'activation mémoire incrémentale pour contraindre efficacement les premiers tokens et libérer de la capacité pour le contexte ultérieur. Intégrable sans coût supplémentaire aux architectures existantes comme Titans, il améliore le language modeling et le retrieval sur longs contextes.