先擦除后增量注意力：解耦增量规则线性注意力中的擦除和写入地址

增量规则线性注意力通过在写入新内容之前纠正当前写入地址中已存储的内容来改进循环内存更新。然而，主动校正仍然锚定到相同的写入地址。因此，在新内容写入其他地方之前，无法主动删除存储在不同地址的陈旧信息。我们提出了擦除然后增量注意力（EDA），这是一种内存更新规则，可以将擦除位置与写入位置分离。关键的见解是，循环内存模型不仅应该纠正当前写入，还应该有选择地抑制独立选择的地址处的过时内存。具体来说，我们的方法首先沿着学习的擦除方向应用目标擦除步骤，然后沿着当前写入方向执行标准的增量式校正写入。这保留了增量规则更新的纠正行为，同时扩展了它们的内存管理容量。密集 2.5B 和 MoE 25B-A2.8B 模型系列的语言模型预训练实验表明，EDA 在这两种设置中都表现最佳。在 MoE 模型的 80B 词元长上下文中期训练后，这种增益仍然存在，其中 EDA 在 4k 到 128k 上下文的长上下文评估中也表现最佳。紧凑的更新分析和内存状态探测表明了原因：EDA 保持增量规则校正写入完整，同时在被动衰减较弱时最强烈地分配额外的清理路径。这些结果表明，循环记忆模型不仅应该决定写入什么，还应该决定删除哪些陈旧信息以及在何处删除。