更多编辑，更稳定：了解顺序模型编辑中的终身标准化

终身模型编辑旨在不断更新 大语言模型 中不断变化的事实，同时保留不相关的知识和一般功能，但它仍然受到灾难性遗忘和模型崩溃的困扰。根据经验，我们发现近期具有长期弹性的编辑者共享相同的核心策略：终身标准化（LN），它使用运行统计数据标准化价值梯度。删除 LN 会导致性能立即崩溃，并且我们观察到一种反直觉的积极累积效应，即早期编辑可以促进未来编辑的成功。然而，闪电网络的机制仍然是一个“黑匣子”，人们对其在终身稳定性中的确切作用知之甚少。在这项工作中，我们首次对终身状态下的 LN 进行了理论解释。我们的分析揭示了一个自我强化的稳定性循环，并证明，当与岭正则化回归相结合时，闪电网络会产生具有渐近正交性和有界范数的参数更新，从而直接减轻遗忘和系统崩溃。基于这些见解，我们推导出了 StableEdit，它通过明确的预热阶段和完全白化来加强这种稳定性循环，以最小的开销提高长期稳定性。大量的实验验证了我们的理论并展示了竞争性能。我们的代码可在 https://github.com/MINE-USTC/StableEdit 获取。