LadderEdit：编辑级残余压缩，用于 LLM 的内存高效终身编辑

LLM的终身编辑需要在获取后存储数千次编辑。一系列广泛使用的方法为每次编辑附加一个 LoRA 适配器，它保留行为但在存储中线性增长。为了应对这一挑战，我们提出了 LadderEdit，这是一种在获取每个 LoRA 适配器后对其进行压缩的方法。每个编辑首先作为廉价草图存储在低级别。然后我们检查这个草图是否仍然满足探测提示上的重写、泛化和局部性契约。通过的编辑保留草图；那些失败的人会沿着阶梯晋升到更高的级别，直到满足合同为止。由于每次编辑都会保留一些表示，因此可以保持覆盖范围，并且只有硬编辑才会消耗更多排名。在 LLaMA-3-8B、Mistral-7B 和 Qwen2.5-7B 上的 ZsRE、CounterFact 和 WikiBigEdit 基准测试中，LadderEdit 以减少 5.2 倍的内存跟踪精确的 LoRA 存储，并在 50,000 次连续编辑时保持有效。