数据如何影响 RoPE 频率使用：从位置尺度匹配到长度概括

旋转位置嵌入 (RoPE) 为 Transformer 提供了固定的位置频率网格，但经过训练的模型使用这些频率的程度非常不均匀。我们研究了决定这种频率使用的因素，并提出了一种以数据为中心的解释：选择 RoPE 频率来匹配训练数据的相对距离结构。将每个频率视为位置透镜，我们形式化了场分辨率权衡，并表明，对于宽度为 $W$ 的数据引起的依赖性剖面，最佳频率为 $1/W$。这种频率匹配原理解释了对合成数据和基于文本的数据的受控观察，并表明在语言模型中观察到的中低频段源于自然语言的多尺度依赖结构。我们进一步将频率选择与基于位置插值的长度概括联系起来：缩小频率可以扩大有效场，同时降低分辨率。当较长的上下文依赖关系是训练期间看到的依赖关系的近似扩张时，这会有所帮助，但当相关依赖关系不随上下文长度扩展时，这可能会失败。根据经验，我们表明自然语言在位置尺度上表现出近似的自相似性，这解释了为什么测试时间频率缩放可以支持长上下文泛化。总的来说，我们的结果确定了 RoPE 频率使用背后的数据驱动机制，并表明长上下文泛化取决于两种形式的尺度匹配：学习频率和训练时间依赖性之间，以及频率缩放和这些依赖性如何扩展到更长的上下文之间。