学习旋转：面向序列建模的时间与语义旋转编码

每一种 Transformer 架构都投入巨大容量学习语义嵌入空间中的丰富表示——然而由旋转位置编码（RoPE）所作用的旋转流形一直被视为固定的手工结构，仅由离散的序数索引填充。我们主张，这一旋转空间是注意力机制中一个在很大程度上被忽视的第二表达力维度，对其进行系统探索可能为基于注意力的架构打开一扇新门。与复数的类比颇具启发性：正如引入与实数轴正交且独立的虚轴解锁了曾被认为不可能的新代数结构，将旋转流形视为可学习的、由信号条件化的空间，也为注意力开启了正交的自由度。在这一框架下，词元嵌入编码表示的语义（实）部分——词元意味着什么——而旋转编码其动态（虚）部分——它在时间、位置和上下文中如何与其他所有词元相关联。我们提出这一构想的具体实例 SIREN-RoPE，它通过双分支正弦表示网络（Sinusoidal Representation Network, SIREN）向旋转维度填充异构信号——连续时间戳、周期性时间模式和类别元数据。作为概念验证，我们在来自某大型社交网络的生产规模信息流数据集上、以生成式推荐器作为排序模型进行评估，结果表明激活这一隐藏维度在校准与排序目标上带来一致改进，且计算开销可忽略不计。我们呼吁社区不要将旋转空间视为已解决的位置编码细节，而应将其视为一条尚未开发的轴——其丰富结构对注意力的意义，或许正如虚数单位对代数的意义。