MemT-1.0 : vers une évolution native de la mémoire dans les modèles de fondation

MemT-1.0 est une architecture de modèles de fondation à mémoire native, fondée sur Metis, qui utilise Gated DeltaNet-2 pour une mise à jour de la mémoire au niveau du token, et Mixture-of-Storage pour étendre la capacité. L'entraînement combine continued pre-training et post-training sur 34B tokens. Les modèles dépassent en moyenne les baselines à mémoire paramétrique et restent compétitifs face aux méthodes RAG. À 128K tokens d'historique, MemT-1.0-Nano offre environ 1,86× d'accélération d'inférence et 66× de stockage persistant en moins par rapport au KV cache complet.