复杂 KDA：理解和增强 Kimi Delta 注意力的表达能力

基于 delta 规则的线性 RNN 可实现高效的序列建模，但其具有低秩校正的线性更新限制了其表达能力。先前的工作表明，在单个循环更新中组合两个增量规则转换可以对 2D 旋转进行建模，但与单个转换相比，这会增加更新的排名和成本。我们证明 Kimi Delta Attention (KDA) 可以通过将单个 delta 规则变换与其通道门提供的第二个反射相结合来实现 2D 旋转。这需要通过组合两个现有的范围扩展来扩展 KDA 的参数范围：允许 $[-1,1]$ 中的门和 $[0,2]$ 中的 delta 规则系数 $\beta$。我们将生成的模型称为复杂 KDA (CKDA)。它保留了 KDA 的稳定性和效率，转换保持对角加秩一且非扩展，同时达到 DeltaProduct$_2$ 的状态跟踪表达能力。我们表征了CKDA的表达性，并证明每个正交对角加秩一矩阵都是CKDA转移矩阵。单个 CKDA 层可以跟踪与 $\mathrm{SO}(3)$ 子群同构的每个有限群，并且与其他对角加秩一线性 RNN 相比，许多状态跟踪结果使用 CKDA 少一层。根据经验，结合这两个扩展可以在 $S_3$、$S_4$ 和周期性音频延续的测试 KDA 范围设置中产生最强的长度外推。在语言建模中，CKDA 优于 Transformers 和其他线性 RNN，获得与 KDA 基线相似的结果，并显示出有前途的扩展行为。我们的代码在这个 https URL 上是开源的，我们的模型可以在这个 https URL 上获得。