论文
旋转位置嵌入作为相位调制:长上下文 RoPE 基础上的理论界限 Transformer
Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
摘要
旋转位置嵌入(RoPE)在 大语言模型 中广泛使用,通过乘法旋转对标记位置进行编码,但它们在长上下文长度下的行为仍然缺乏表征。在这项工作中,我们将 RoPE 重新解释为应用于一组复杂振荡器的相位调制,从而可以通过经典信号处理理论进行分析。根据这个公式,我们推导出 RoPE 基本参数的原则下限,这是保持目标上下文长度上的位置一致性所必需的。其中包括类似于奈奎斯特极限的基本混叠界限,以及限制低频位置模式中的相位漂移的直流分量稳定性界限。我们进一步将此分析扩展到深度 Transformer,表明跨层重复旋转调制会导致角度失准,随着深度的增加,基础要求会更加严格。补充这些结果,我们在 RoPE 基础上推导出由有限浮点分辨率产生的精度相关上限。超过此限制,增量相位更新在数字上变得无法区分,即使在没有混叠的情况下也会导致位置擦除。下限和上限共同定义了一个依赖于精度和深度的可行性区域,即长上下文 Transformer 的金发姑娘区域。我们通过对最先进模型(包括 LLaMA、Mistral 和 DeepSeek 变体)的全面案例研究来验证该框架,表明观察到的成功、失败和社区改造与预测范围密切相关。值得注意的是,违反稳定性界限的模型表现出注意力崩溃和远程退化,而尝试扩展到超过一百万个词元会遇到独立于架构或训练的硬精度墙。