论文
FABLE:用于非结构化模型编辑的细粒度事实锚定
FABLE: Fine-grained Fact Anchoring for Unstructured Model Editing
摘要
非结构化模型编辑旨在用真实世界的文本更新模型,但现有方法通常会整体记忆文本,而没有可靠的细粒度事实访问。为了解决这个问题,我们提出了 FABLE,一个分层框架,它将细粒度的事实注入与整体文本生成分离。 FABLE遵循两阶段、事实优先的策略:离散事实锚定在浅层中,然后对更深层进行最小更新以产生连贯的文本。这种解耦解决了整体回忆和细粒度事实访问之间的不匹配,反映了单向 Transformer 流,其中表面形式生成放大而不是纠正底层事实表示。我们还推出了 UnFine,一种诊断基准,具有细粒度的问答对和用于系统评估的事实级指标。实验表明,FABLE 显着提高了细粒度问答能力,同时保持了最先进的整体编辑性能。我们的代码可在 https://github.com/caskcsg/FABLE 上公开获取。