HySPE：以双曲辛位置编码改善语言模型长度外推

我们提出双曲辛位置编码（HySPE），将位置注意力建立在非紧辛变换上。标准旋转位置编码（RoPE）通过旋转参数化Sp(2,R)的紧椭圆分支，而HySPE通过带阻尼的双剪切对称复合实现其双曲分支，形成每对通道具有两个谱衰减率的共形辛收缩。为消除朴素绝对分解固有的指数表征漂移，我们在不变特征基中对角化算子，并引入结合自适应中心化执行的分块坐标重定基。这保证了与长度无关的数值界，同时达到缓存RoPE的前向延迟水平：在RTX 4090上为7.21毫秒。在TinyShakespeare上，HySPE-UltraLong将困惑度稳定保持在4.810，支持最高16倍零样本外推、长度达到4096，而RoPE的困惑度恶化到131.198。扩展到WikiText-103上5100万参数的子词Transformer，训练长度为512，HySPE在分布内接近RoPE，并稳健外推到8192，使尾部困惑度相对RoPE降低83.9%。这些受控实验支持HySPE的长度外推鲁棒性和数值稳定性，但在大规模基础模型上评估其扩展表现仍是后续研究的重要方向。