查询知道要忘记什么：线性注意力的第二个擦除方向

线性注意力保持固定大小的状态。在长上下文中，许多存储的项目共享此状态，并且它们之间的干扰会降低检索性能。门控 DeltaNet-2 (GDN-2) 与之前的每个 delta 规则模型一样，从当前词元的密钥导出其擦除向量。然而，其读取中的干扰是通过查询测量的，擦除步骤无法到达它。我们引入查询衍生擦除方向（QED）。 QED 添加了从查询导出并与密钥正交的第二擦除方向。在快速权重视图中，键定向的增量编辑无法更改读取的键正交部分。它使用可编辑部分来取消沿查询测量的旧状态内容。它还改进了超过训练窗口的每个长度的检索，并且它使 S-NIAH-1 上的可用上下文长度增加了一倍。