ManiEdit：从流形角度对语言模型进行顺序非结构化知识编辑

大语言模型（LLM）不可避免地会产生一些不正确或过时的内容，需要高效、精确的机制来持续更新知识。然而，现有的模型编辑方法很难顺序编辑非结构化的长形式知识，遭受严重的编辑遗忘和一般能力的退化。为了应对这些挑战，我们从流形的角度重新构建知识编辑，将其视为全局知识流形内编辑子流形的局部位移。根据这个公式，问题可以分解为两个关键问题：（i）如何识别有效锚定编辑子流形的代表性编辑点，以及（ii）如何在子流形位移过程中保留剩余的流形结构。基于这个角度，我们提出了 ManiEdit，一种新颖的流形感知自回归编辑框架，由两个核心组件组成。枢轴定位通过识别高杠杆枢轴来锚定编辑子流形来解决平庸点的困境。流形感知保留通过能量加权惩罚与递归零空间对齐相结合来保留不同的知识类型。对两个基础 LLM 和四个非结构化编辑基准的实验表明，ManiEdit 实现了最先进的性能，比最强的基线高出高达 +27.81 BERTScore 和 +8.50 ROUGE-L，同时在六个代表性下游任务中保持接近原始的一般能力。我们的代码位于：https://github.com/Areyliu/ManiEdit