论文
GSA2：线性注意力中双侧联想记忆校正
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
摘要
线性注意力模型已成为标准注意力的高效替代，但管理其固定大小递归记忆仍具挑战。改善记忆的近期工作探索两个方向：用于精确校正键所关联值的delta规则变体，以及以Gated Slot Attention为代表的槽式架构（两阶段建模键值记忆）。我们观察到这两个方向互补——delta规则提供有效记忆校正，两阶段结构提供了对关联两侧操作的自然方式。据此我们提出新的Gated Oja Rule做键侧校正，并扩展出带解耦擦除/写控制的Gated Oja Rule-2；进而提出Gated Slot Attention-2（GSA2）：把用于键侧校正的Gated Oja Rule-2与用于值侧校正的Gated Delta Rule-2通过共享潜槽结合。我们进一步推导硬件高效的chunkwise并行训练算法。实验显示GSA2跨基准持续优于强线性注意力基线，同时保持线性时间序列建模与常数内存递归解码。