RECHERCHE
Co-LMLM : des LLM à mémoire limitée avec requêtes continues
Une nouvelle architecture externalise les connaissances factuelles dans une base de connaissances interrogée par vecteurs continus, surpassant GPT-4o-mini sur certains benchmarks.
arXiv cs.AI · cs.LG · cs.CL·Yair Feldman, Linxi Zhao, Nathan Godey, Dongyoung Go·8 juillet 2026
Image · Source originale
Co-LMLM propose une variante des Limited Memory Language Models (LMLM) où une base de connaissances externe est interrogée via des clés vectorielles continues, abandonnant les requêtes relationnelles classiques. Un pipeline d'annotation détecte automatiquement les passages factuels dans des textes arbitraires, sans se limiter à Wikipedia. À 360M de paramètres, le modèle affiche une perplexité inférieure à des modèles entraînés sur 40 fois plus de données, et des performances factuelles comparables à GPT-4o-mini.
Chaleur 21
Pertinence 72
Nouveauté 78