转变机制：位置编码选择如何影响上下文检索

语言模型越来越多地使用改变注意力跨度和跨层位置编码的架构，例如应用具有滑动窗口注意力的 RoPE 和具有全局注意力的 NoPE (SWA NoPE)。然而，这些选择如何影响上下文检索仍不清楚。为了研究这个问题，我们采取机械的观点，追踪位置编码（PE）选择如何塑造用于上下文检索的内部机制模型。在跨越 8 个家族的 22 个开放权重模型中，我们发现标准 RoPE 模型主要依赖于位置检索，而 PE 混合模型则转向语义检索。我们进一步证明，在受控的预训练消融中，将位置编码限制在局部层会产生这种语义转变，从而降低位置信息的表示。最后，我们表明，所报告的 PE 混合体的长上下文增益掩盖了检索权衡：SWA NoPE 在多目标检索和 QA 方面比 RoPE 有所改进，但在区分竞争键时却有所下降。我们表明，这些行为差异比长上下文检索的统一改进更好地跟踪从位置机制到语义机制的转变。