HoReN：用于大规模序列模型编辑的标准化 Hopfield 检索

大语言模型 编码大量事实知识，这些知识在部署后可能会过时或不正确，但重新培训的成本却极高。这激励了终身模型编辑，更新目标行为，同时保留模型的其余部分。现有的编辑器，无论是参数修改还是参数保留，都会随着编辑的积累而严重退化，并且很难在释义之间进行概括。我们提出了 HoReN，一种基于码本的参数保存编辑器，它用离散键值内存包装单个 MLP 层。 HoReN 将每个密码本条目视为知识密钥和 Hopfield 存储模式，通过单位超球面上的角度相似性检索编辑，并通过阻尼 Hopfield 动力学细化查询，以便释义收敛到正确的记忆盆地，同时不相关的输入保持稳定。 HoReN 实现了强大的编辑性能，在标准 ZsRE、结构化 WikiBigEdit 和非结构化 UnKE 评估等不同基准测试中取得了一致的收益。此外，HoReN 在 ZsRE 上扩展到 50K 顺序编辑，整体性能稳定在 0.93 以上，而之前的编辑器在达到 10K 之前就崩溃或严重退化。我们的代码可在 https://github.com/ha11ucin8/HoReN 获取。