Jordan-RoPE：通过复杂 Jordan 块的非半简单相对位置编码

相对位置编码决定查询键滞后的哪些函数可以进入原始注意力 logits。 RoPE 提供旋转相位，而 ALiBi 提供附加距离偏置。受线性平移不变位置编码的群论观点的启发，我们研究了一个非半简单的情况，其中复杂的旋转特征值和幂零响应存在于同一个有缺陷的 Jordan 块中。由此产生的相对算子生成振荡多项式特征，例如 $e^{-γd}\cos(ωd)$、$e^{-γd}\sin(ωd)$、$d e^{-γd}\cos(ωd)$ 和 $d e^{-γd}\sin(ωd)$，用于因果滞后 $d=i-j\geq 0$。因此，该结构实现了距离调制相位基础 $d e^{iωd}$，而不是仅仅向 RoPE 添加单独的距离通道。我们将 Exact Jordan-RoPE 制定为一种非半简单单参数表示，给出其实数块形式，并指定非正交位置图所需的矛盾查询操作。我们还将这种精确表示与稳定变体区分开来，稳定变体的有界剪切改善了数值行为，但打破了精确群定律。内核级诊断和 Jordan 友好的合成语言模型任务表明，当目标包含距离调制的相位相互作用时，耦合 Jordan 基础非常有用。在小型 WikiText-103 字节语言模型上，按比例精确变体改进了 Jordan 系列中的 RoPE 和直接求和基线，而 RoPE+ALiBi 总体上仍然最强。证据是结构性的，而不是广泛的性能主张。