RoPE 已死，RoPE 万岁：迈向可扩展的数据感知位置编码

Transformer 处理词元时没有任何固有的顺序概念，使位置编码成为基本要求，而不是架构改进。旋转位置嵌入（RoPE）已成为现代语言模型中的默认位置编码，但它严重偏向于附近的标记。现有的替代方案已在不同的环境下进行了评估，导致文献支离破碎且没有明确的替代方案。我们通过检查 RoPE 的一个具体弱点来为这一领域带来结构：它的慢频带，其波长超出了训练环境，并使模型在外推过程中暴露于看不见的角度。因此，我们引入了数据感知 RoPE (DaRoPE)，它保留了快带上的标准 RoPE，但用从上下文表示中学习到的有界坐标替换了慢带上的绝对位置。因此，慢带几何取决于数据而不仅仅是位置距离。我们比较了合成任务、符号音乐、基因组学、神经信号和跨越 124M 到 50B 参数的语言模型的匹配条件下的代表性编码。在这些实验中，DaRoPE 在非文本基准方面处于领先地位，减轻了新近度偏差，同时在语言建模和长度外推方面保持最佳或同等水平。此外，学习到的坐标还使该机制变得可解释，揭示了注意力层如何利用词元距离之外的上下文信息。总之，当没有特定领域的原因需要选择另一种方法时，这些结果支持 DaRoPE 作为评估方法中最佳的总体默认值。