迷宫与线索：重新思考 大语言模型 顺序知识编辑中的正则化

大语言模型 中结构化知识的顺序编辑允许有针对性的事实更新而无需重新训练，但现有方法通常依赖于复杂的正则化或约束机制，其必要性仍不清楚。在这项工作中，我们系统地研究了有效和稳定的顺序编辑背后的机制。具体来说，我们首先分析 AlphaEdit 的经验成功，并通过严格的优化分析建立一次性编辑和顺序编辑之间的形式等价性。基于这种见解，我们将其等价性推广到更广泛的编辑目标，证明稳定性是通过正确考虑累积的编辑约束而自然产生的，而不是通过专门的正则化或零空间操作而产生的。我们凭经验证实，许多常用的正则化策略对于可靠的顺序更新来说是不必要的。此外，我们扩展了我们的框架来处理冲突的编辑，确保在矛盾的更新下稳健且一致的行为。最终，我们的工作为阿里阿德涅提供了穿过顺序编辑迷宫的线索，绘制了一条通向更简单、更可解释和可靠的知识更新的道路。我们的代码可在 https://github.com/Wangzzzzzzzz/OTE-SE-Alignment 获取。