高维旋转位置嵌入

在大多数情况下，Transformer 依赖于长上下文建模中的位置嵌入机制。旋转位置嵌入（RoPE）通过独立的2D旋转嵌入位置信息，形成自注意力中的相对位置项。然而，其成对、基于块和解耦的结构限制了跨通道的深度混合和鲁棒性。我们提出了 HD-RoPE，它将 RoPE 从独立的 2D 旋转扩展到更高维的旋转，并引入 Paley-I 正交基以在每个旋转子空间内获得平衡、各向同性和密相混合。这显着增强了通道耦合和旋转自由度，同时保持正交稳定性和相对位置闭合特性。此外，HD-RoPE 可以轻松优化工程效率，而无需引入额外的可训练参数。我们进行了广泛的评估结果，证明 HD-RoPE 在各种流行的基准测试以及长期和短期环境中均比标准 RoPE 实现了显着的性能改进。