以选择性知识抑制迈向可扩展的终身知识编辑

摘要

大语言模型（LLM）需要频繁更新知识，以反映不断变化的事实并缓解幻觉。为满足这一需求，终身知识编辑作为一种持续修改特定知识而无需重训整个模型的方法应运而生。现有的参数编辑方法因灾难性遗忘而在序列编辑时难以保持稳定。尽管已有基于检索的方法来缓解这一问题，但高昂的训练成本使其在各数据集上的适用性仍然受限。为克服这些局限并提升终身设置下的可扩展性，我们提出LightEdit。我们的框架先从检索到的信息中挑选相关知识，以有效修改查询。随后引入解码策略抑制模型的原始知识概率，从而基于所选信息实现高效编辑。在ZSRE、Counterfact与RIPE基准上的大量实验表明，LightEdit优于现有的终身知识编辑方法。此外，通过将训练成本降到最低，LightEdit实现了高性价比的可扩展性，能够轻松适配各种数据集。

以选择性知识抑制迈向可扩展的终身知识编辑：论文配图 — 图1：与以往终身知识编辑方法的实验对比以及LightEdit的整体框架。 (a) 表明 LightEdit 显着提高了编辑性能，而 RECIPE 在与训练期间使用的数据集不同的数据集上进行评估时，性能大幅下降。 (b) 显示 LightEdit 在训练时间和数据量方面也比现有方法更有效。这些优点源自（c）中所示的架构。我们采用编辑感知选择器来检索查询编辑所需的知识。当选择修改的知识时，我们通过应用上下文解码来减轻推理过程中潜在的知识冲突，从而降低过时知识的生成概率。