论文

FOVEATED:非结构化知识编辑的聚焦视图

Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing

模型训练模型编辑与遗忘

摘要

大语言模型日益充当事实知识的通用接口,但其参数不会自动反映预训练后变化的信息。知识编辑(KE)通过修改选定知识并保持无关知识与通用能力,提供免昂贵重训的定向替代。传统KE使用结构化事实三元组,而非结构化KE(UKE)使用含多个事实的自由格式段落。但现有UKE编辑器存在语境依赖的失败模式:被编辑的LLM常能复述编辑段落,却无法在脱离原文语境时可靠回忆其单个事实。我们识别出标准段落级编辑目标下的"语境诱导难度低估":越靠后的事实获得越丰富的真值上下文因而初始损失越低,显得更易学。为此我们提出FOVEATED——即插即用框架,通过随机平移分配给其前文键的RoPE位置,为每句构造聚焦视图;扰动在编辑期间施加、事后移除,推理时模型的固有位置编码不变。我们为直接优化与定位后编辑两类编辑器实例化FOVEATED,理论分析其如何对抗语境诱导难度低估,并在五个KE编辑器、两个LLM骨干与三个基准上实证一致改善。