WavePrune：按 RoPE 首周期裁剪长上下文旋转通道

旋转位置嵌入 (RoPE) 通过以特定于通道的频率旋转查询和关键向量的每个二维通道来对 token 位置进行编码，从而使注意力逻辑对位置的常见移位保持不变。然而，这种旋转是周期性的，并且会导致位置混叠，其中由完整旋转周期分隔开的相对位置变得难以区分。为了解决这个问题，我们提出了 WavePrune，它将每个通道限制在其第一个旋转周期。我们证明，它消除了位置别名造成的注意力图中的干扰，并提高了整体长上下文性能。具体来说，WavePrune 提高了我们测试的五个模型中的四个模型的 HELMET 分数，而无需任何额外的调整（例如，Qwen3-8B 上的 35.7 -> 40.0）。当从头开始预训练模型时，与没有它的预训练相比，WavePrune 在外推长度上也实现了更低的验证损失。由于 WavePrune 将每个通道限制为滑动窗口，因此它会产生细粒度的稀疏性，我们的硬件对齐 CUDA 内核可利用该稀疏性在 32K 上下文中比 FlashAttention-2 实现 1.15 倍 预填充 和 1.24 倍解码加速。总之，这些结果表明，RoPE 的周期结构被广泛认为是重要的，但在第一个旋转周期之后基本上是多余的。