线性化的2-单纯形注意力

我们通过将三线性得分改写为复合查询与键之间的内积，提出 2-单纯形注意力的线性化形式，使得在一个 token 轴上的求和与普通 softmax 注意力具有相同的形式。随后我们用正随机特征近似该求和，并将整个过去存储在固定大小的状态中，而第二个轴仍在最近 token 的短窗口上保持显式。这使我们实现随序列长度线性的成本，同时具备窗口化 2-单纯形注意力所缺乏的全局触达能力。我们用定制的 Triton 内核实现它，并将其与 Kimi Delta Attention 结合，构建了一个完全不含 softmax 注意力的模型。在匹配计算量下，该模型在所比较的架构中取得最高的平均下游准确率，且在 16k 上下文下相较 KDA 混合架构提升平均准确率，同时将 LAMBADA 困惑度从 715.6 降至 602.6。