重新审视 大语言模型 中基于参数的知识编辑：理论限制和经验证据

基于参数的知识编辑通过局部权重修改更新了大语言模型（LLM）的内部知识，并引起了广泛关注。然而，大多数现有方法忽视了基本的理论局限性，并且很少在现实的、面向实践的环境下进行评估。在本文中，我们首先提出基于维度崩溃假设的理论分析，解释局部参数编辑如何沿着表示空间中的脆弱方向传播，引起全局干扰并最终导致推理崩溃。基于这一见解，我们通过系统地改变知识复杂性、编辑次数、评估维度和基线方法来进行全面的实证评估。我们的结果表明，基于参数的编辑方法持续损害核心 LLM 功能。相比之下，基于简单检索的基线在所有评估条件下始终比所有参数编辑方法获得更强的性能。这些发现强调，在知识编辑后保留 LLM 的基本功能应该是未来研究的中心关注点。