用于可组合非结构化知识编辑的混合策略自编辑

大语言模型 (LLM) 在自然语言任务中取得了卓越的性能，但他们是在静态语料库上进行训练的，他们的知识在快速变化的世界中很快就会过时。这激发了知识编辑（KE），它更新 LLM 中的特定知识，而不更改不相关的其他知识。最近的作品从结构化知识三元组转向非结构化 KE (UKE)，其中编辑是自由形式的段落，可以同时陈述多个事实。尽管如此，现有的编辑器插入了这样的一段话却未能使用它：编辑后的模型可以回忆起这段话，但既不能回答有关其事实的原子问题，也不能将它们组合成多跳推理。我们将这种缺失的属性（我们称之为可组合性）归因于编辑对固定段落作为唯一学习来源的被动依赖。作为回应，我们将编辑视为来自同一模型的特权上下文状态的主动自我蒸馏，不需要外部监督。我们进一步揭示，由于注入知识的新颖性，预编辑模型本身的执行轨迹很少覆盖它，这限制了纯 同策略 蒸馏 的有效性。为了缩小这一差距，我们提出 HPSE，它构建了一个混合执行轨迹，将缺失的事实准确地放置在学生自己的轨迹上，而在覆盖失败的地方，同时将 同策略 保留在其他地方。我们从理论上分析了 HPSE 相对于纯 同策略 蒸馏 的优势，并根据经验在不同场景下跨四个 LLM 主干和两个 KE 编辑器建立了即插即用的改进。