PJ-RoPE：相对注意力的傅立叶射流仿射位置空间

我们将注意力中的相对位置机制组织为可学习的傅立叶喷射仿射位置空间。起点是滞后位移动力学：相对位置核是滞后 \(d=i-j\) 的响应函数，一步位移 \((Ef)(d)=f(d+1)\) 通过常数系数差分模块给出有限结构化响应的紧凑分类。在这个视图中，RoPE 提供简单的傅里叶根，Jordan-RoPE 将这些根加粗为有限傅里叶射流，而 ALiBi 提供重复单位根仿射方向。 NTK 感知的 RoPE 缩放符合与简单傅里叶根的谱流相同的结构：移动频率网格生成第一个傅里叶射流切线方向，而更高的泰勒方向生成更高的射流。 PJ-RoPE 使这些喷射方向变得明确且易于学习，并使用生成的空间来衡量任务级扇区选择。该框架将标量 PJ 偏置内核与精确的 PJ 旋转特征变换分开，引入扇形门、有效质量、功能能量和留一阶诊断，并通过 LC/快速压缩稳定高阶坐标。受控探针恢复设计扇区；综合教师表现出可训练的用途；小字节级语言运行有利于 NTK 感知的 RoPE 加上仿射新近度；符号音乐词元流通过可测量的高阶校正使 LC/仿射变体保持强大； LC 诊断量化了稳定性与分辨率的权衡。