BetaEdit：零空间约束顺序模型编辑

基于零空间的方法通过限制对预先存在的知识表示的零空间的更新，从而保留模型的原始行为，在模型编辑中引起了相当大的关注。然而，在实践中，这些方法依赖于近似零空间，导致知识泄漏，并且在顺序编辑期间进一步遭受严重的性能下降。最近的研究表明，历史感知编辑策略可以根据经验缓解这种下降，但根本原因仍不清楚。在本文中，我们首先揭示了现有零空间方法中固有的知识泄漏，然后分析了为什么历史感知更新在长视野编辑过程中有效地保留了编辑性能和一般功能。基于这些见解，我们提出了 BetaEdit，这是一个精致的框架，可以有效控制知识泄漏并将历史感知更新集成到零空间范式中。在两个标准基准测试中对三个 大语言模型 进行的广泛实验表明，BetaEdit 在具有挑战性的大规模顺序编辑领域中始终优于先前的方法。代码位于：https://github.com/lbq8942/BetaEdit。