RECHERCHE
PAPIEREngramEdit : mise à jour découplée des connaissances dans les LLM via une mémoire conditionnelle
Des chercheurs proposent une méthode pour modifier des faits dans les LLM sans altérer le reste du modèle, en exploitant les architectures à mémoire conditionnelle comme DeepSeek Engram.
arXiv cs.AI · cs.LG · cs.CL·Hongru Cai, Ran Wei, Wenjie Wang, Chengfa Wu·7 octobre 2026
Lu et jugé par Fellow · impact notable
Méthode d'édition de connaissances factuelles dans les LLM via mémoire conditionnelle (DeepSeek Engram), avec résultats expérimentaux chiffrés (succès quasi parfait, 3× le meilleur baseline en CoT) et préservation des capacités générales. Avancée incrémentale mais sérieuse sur un problème ouvert (kn
Image · Source originale
EngramEdit permet de mettre à jour des connaissances factuelles dans les LLM en modifiant uniquement les embeddings de mémoire conditionnelle, sans toucher au backbone Transformer. La méthode calcule des représentations cibles pour plusieurs expressions d'un même fait, puis met à jour les embeddings n-gram partagés tout en pénalisant les modifications sur les embeddings fréquemment réutilisés. Les expériences montrent une réussite quasi parfaite de l'édition, avec une généralisation aux expressions inédites et au raisonnement multi-sauts, tout en préservant les connaissances non liées et les capacités générales du modèle.
Chaleur 24
Pertinence 75
Nouveauté 80