记住要忘记：门控自适应位置编码

旋转位置编码（RoPE）广泛应用于现代 大语言模型。然而，当序列超出训练期间看到的范围时，旋转阶段可能会进入分布外状态，导致虚假的长程对齐、注意力分散和检索降级。现有的补救措施只能部分解决这些问题，因为它们经常用局部位置分辨率来换取长上下文稳定性。我们提出了 GAPE（门控自适应位置编码），这是一种位置编码的插入式增强，它将内容感知偏差直接引入到注意力 logits 中，同时保留旋转几何形状。 GAPE 通过收缩不相关上下文的依赖于查询的门和保留显着的远程词元的依赖于键的门，将基于距离的抑制与词元重要性解耦。我们证明受保护的词元仍然可以访问，而分配给不受保护的远程词元的注意力质量随着查询门的函数而衰减。我们进一步证明 GAPE 可以在标准规模的点积注意力内实现。我们根据经验验证了这些属性，发现 GAPE 在综合检索和长上下文基准测试中始终比旋转基线产生更敏锐的注意力并提高了长上下文稳健性。