论文
何时写入和何时抑制:用于记忆辅助知识编辑的路由专用双适配器
When to Write and When to Suppress: Route-Specialized Dual Adapters for Memory-Assisted Knowledge Editing
摘要
知识编辑系统必须更新选定的事实,同时保留附近但不相关的行为。本文在记忆辅助设置中研究了这个问题,其中在推理时检索编辑记忆,并且参数高效的适配器纠正模型的对象偏好。我们认为,核心设计问题不仅是如何编写编辑,而且是什么时候抑制它。我们介绍 RRDA,一个专门用于路由的双适配器编辑器。相关路由器首先决定提示是否应该接收编辑存储器。路由提示使用经过训练的编辑适配器,使其更喜欢新对象而不是原始对象;未路由的非直接提示使用经过训练的单独位置适配器来保留或恢复原始对象首选项。我们在相同的内存协议和两个 7B/8B 基本模型下,在三个 1,000 例协议(CounterFact、ZsRE 和 MQuAKE-CF)上评估 RRDA。在 Llama-3.1-8B-Instruct 上,RRDA 在所有三个基准上获得了最佳的总体概率偏好精度:CounterFact 上为 0.8180,ZsRE 上为 0.8946,MQuAKE-CF 上为 0.9922。 Qwen3-8B 也存在同样的趋势。路由器消融表明,相关内存边界在不同数据集上有所不同:词汇神经路由器在 CounterFact 上最安全,而 BGE 嵌入路由在 ZsRE 和 MQuAKE-CF 上更好。内存、组件和模块消融表明,显式内存提供了最大的编辑增益,而路由专用适配器则改善了最终的可靠性-局部性平衡,而不是简单地增加 LoRA 容量。