ForgetBench：语言模型中长期参数记忆的遗忘动态基准测试

大语言模型（LLM）在知识获取和推理方面表现出了强大的能力，但其在重复更新下保留先前获取的知识的能力仍不清楚。现有的评估范式主要集中于单步推理或静态知识编辑，无法捕捉持续模型修改过程中知识保留和退化的时间动态。在这项工作中，我们提出了 ForgetBench，一个旨在系统地表征持续知识编辑下 LLM 的遗忘行为的基准。 ForgetBench 引入了两种互补的评估范式，即基于概念的 QA 和基于场景的 QA，以将孤立的事实保留与结构化关系知识保存分开。基于顺序编辑框架，我们构建了按时间排序的知识流并评估多个编辑阶段的模型行为。为了定量分析长期保留动态，我们进一步引入了一个统一的评估框架，该框架对知识随时间的演变进行建模，从而能够测量时间衰减、保留强度和跨实例稳定性。跨不同模型和编辑方法的广泛实验表明，现有方法无法在长期保留和泛化质量之间取得平衡。我们的研究结果强调需要更强大的记忆机制，以便在未来 LLM 中能够随着时间的推移有效地获取、更新和保存知识。代码将在接受后发布。