论文
用户即印记:把逐用户记忆内化为局部参数编辑
User as Engram: Internalizing Per-User Memory as Local Parametric Edits
摘要
语言模型中的个人记忆是两个问题:内容与推理技能。大脑把两者分开(每个情节在海马体有一个稀疏的局部印记engram——解读它的共享技能则在慢速新皮层)——因此新事实无需覆写其他一切。如今多数个性化把用户事实留在权重之外——自然语言记忆文件或检索索引。当把事实写入模型时——标准配方是逐用户LoRA适配器——这与大脑相反:把内容与技能折叠为一个全局权重增量。把用户事实写成LoRA会污染与该用户无关的文本;把同样事实写为局部印记行则在数学上保持其余部分不变——内存占用约小33,000倍。因此我们提出用户即印记:把用户内容存储为对印记模型哈希键控记忆表的外科手术式编辑——把推理技能放进一个共享适配器。该分层设计匹配逐用户LoRA的直接召回——同时平均交付5.6倍更高的间接推理准确率——且绝不让单个用户的推理差于未触碰的基座。编辑是玻璃箱:写入事实恰好在触发处开启其查找、添加答案所需的值——其余每个位置保持到最后一位不变——写错层则失败。由于不同用户的事实落在不相交的哈希槽——它们的编辑可组合:多用户同时共存于一张共享表——加性且无损地堆叠——而逐用户LoRA(单一全局权重增量)只能容纳一个。检索时——逐用户印记表不随检索器必须搜索的人群增长——超过约100条事实后——它在2.5倍更大的模型上超越检索管线。
