论文

DOW-KE:通过直接端到端权重优化进行无锚多层知识编辑

DOW-KE: Anchor-Free Multi-Layer Knowledge Editing via Direct End-to-End Weight Optimization

模型训练模型编辑与遗忘

摘要

用于知识编辑的多层定位然后编辑方法首先优化选定层的目标残差流激活(锚点),然后逐层实现它们作为权重更新。该管道优化了中间表示,但部署了多层权重更新,其通过真正的前向传递的联合效果本身从未优化:无论锚点如何设置或传播,每个更新都来自局部求解,因此传播引起的衰减和失真未得到纠正,从而在锚点目标和实现的编辑之间留下闭合间隙。我们提出了 DOW-KE,一种基于单一原则的无锚方法:优化的内容必须与部署的内容完全相同。 DOW-KE 通过完整的模型反向传播最终的编辑目标,共同优化所有编辑层的更新,以便跨层传播和耦合进入每个梯度步骤。同样的原则决定了保存所在的位置:将保存投影嵌入计算图中的更新参数化中,使每个梯度都作用于已部署的更新;事后约束将重新拉开差距,而受约束的搜索可以使编辑远离受保护的知识。在对两个数据集和三个模型进行大规模顺序编辑时,DOW-KE 在评估的基线中的六个模型数据集设置中的五个中实现了最高的总体得分和邻域特异性。