论文

用户即印记:把逐用户记忆内化为局部参数编辑

User as Engram: Internalizing Per-User Memory as Local Parametric Edits

模型训练模型编辑与遗忘

摘要

语言模型中的个人记忆是两个问题:内容与推理技能。大脑把两者分开(每个情节在海马体有一个稀疏的局部印记engram——解读它的共享技能则在慢速新皮层)——因此新事实无需覆写其他一切。如今多数个性化把用户事实留在权重之外——自然语言记忆文件或检索索引。当把事实写入模型时——标准配方是逐用户LoRA适配器——这与大脑相反:把内容与技能折叠为一个全局权重增量。把用户事实写成LoRA会污染与该用户无关的文本;把同样事实写为局部印记行则在数学上保持其余部分不变——内存占用约小33,000倍。因此我们提出用户即印记:把用户内容存储为对印记模型哈希键控记忆表的外科手术式编辑——把推理技能放进一个共享适配器。该分层设计匹配逐用户LoRA的直接召回——同时平均交付5.6倍更高的间接推理准确率——且绝不让单个用户的推理差于未触碰的基座。编辑是玻璃箱:写入事实恰好在触发处开启其查找、添加答案所需的值——其余每个位置保持到最后一位不变——写错层则失败。由于不同用户的事实落在不相交的哈希槽——它们的编辑可组合:多用户同时共存于一张共享表——加性且无损地堆叠——而逐用户LoRA(单一全局权重增量)只能容纳一个。检索时——逐用户印记表不随检索器必须搜索的人群增长——超过约100条事实后——它在2.5倍更大的模型上超越检索管线。

用户即印记:把逐用户记忆内化为局部参数编辑:论文配图
图 7:寻址写入与全局功能弯曲。每层、每位置残差流变化 ‖xafter(ℓ)−xbefore(ℓ)‖\|x^{(\ell)}_{\text{after}}-x^{(\ell)}_{\text{before}}\|在相同的触发句子和基础上(Mini-Engram-d12@1280,对数色标)。 (a) 在印迹层(因果关系)之前的每个位置以及在其之后的每个非触发位置,印迹行插入恰好为 0.000——只有触发列移动。 (b) 适用于同一单一事实的每用户 LoRA 会移动每个位置和每一层的残差,并以 107107 的方式扰乱不相关的文本(“法国首都是”)。将事实存储在共享函数中会改变各处的函数;将其存储在一个地址上则不然。