正交表示编辑：解耦LLM批量知识编辑中的语义纠缠

知识编辑旨在高效更新 大语言模型 (LLM) 中的事实信息，而无需完全重新训练。然而，现有方法在批量知识编辑方面仍然存在性能下降的问题。我们发现语义表示纠缠，例如重叠的概念和共享的句法模式，会在表示空间中积累干扰并降低编辑精度。为了弥补这一差距，在本文中，我们提出了正交表示编辑（ORE），它通过构造通用语义子空间并对编辑向量强制正交约束来在 LLM 的隐藏表示空间中执行编辑，从而有效地解耦语义纠缠。此外，我们引入了门控非线性表示头，以实现编辑位置的自适应学习和对知识注入的精确控制。大量实验表明，ORE优于现有方法，在跨语言知识编辑场景中取得了优越的性能。我们在 https://github.com/YVVH/ORE 发布了我们的代码。