Memorilla : une mémoire sémantique latente pour les LLMs

Memorilla encode les documents une seule fois en embeddings réutilisables, puis apprend à récupérer l'information pertinente et à la placer dans l'espace d'embedding d'entrée d'un LLM figé. Avec 16 memory tokens, il obtient 84,33 % sur FactKG contre 80,43 % en contexte complet, avec 108 fois moins de tokens. Dans TextWorld, le taux de succès d'un agent passe de 18,6 % à 24,2 %.