论文
反周期位置编码:莫比乌斯边界条件使上下文检索可靠
Anti-Periodic Positional Encoding: Möbius Boundary Conditions Make In-Context Retrieval Reliable
摘要
莫比乌斯 RoPE 是一种建立在反周期频率阶梯 $θ_i=π(2i+1)/N$ 之上的旋转位置编码:每个旋转平面在训练上下文中前进 $π$ 的奇数倍,因此位置完整性为 $-1$,并且序列的两端通过闭合形式的狄利克雷“偶极子”确定性耦合;据我们所知,这是位置编码中的第一个反周期边界条件。我们以 $\sim 10^{-6}$ 的数值验证了该理论,并预训练了 48 个模型,涵盖 6 个 160M 级和 3 个 410M 级臂(每个臂 2B FineWeb-Edu 词元;混合臂将莫比乌斯频率置于 25% 的头部)。混合困惑度保持不变(29.66 与 29.72),但大海捞针检索变得可靠:上下文 512 处的 $90.3\pm5.7\%$ 与 $63.3\pm31.4\%$($n=6$ 种子),观察到的最差种子 86% 与 14%,稳健方差测试 $p=0.013$-$0.029$ (未经调整),以 410M 重复出现(Levene $p=0.040$)。匹配的控制隔离了该机制:同一频带中的非周期性梯子不会再现任何效果,而周期性(完整$+1$)梯子仅再现一小部分。将训练模型的频率表交换回标准 RoPE(权重冻结)会导致检索崩溃,损伤集中在远针上:训练模型依赖于这种远程几何形状。 NoPE 手臂在短期背景下更加可靠,但要支付 13% 的困惑税并推断出最坏的结果;只有反周期混合对具有高可靠性底线的基线困惑度。效果仅限于训练窗口内的单针检索;因此,单线频率交换提供了针对检索种子彩票的零成本保险。