位置核理论刻画单头注意力的长度外推边界

为什么长度泛化（LG）如此强烈地依赖于位置编码（PE）？相对编码外推固定偏移量，绝对方案固定位置，两者都不能处理不断增长的偏移量。我们给出了一个有意控制的抽象的可实现性理论，一个单一的仅位置注意力头，它导出了这种有据可查的经验模式，并准确地说明了它在哪里成立和突破。其核心工具是一个模拟传输算子 $T_L$，它重新评估较长网格上选定的长度 $L_0$ 实现位置核函数，并在任何训练之前，仅从$(Φ, t_n)$计算出标量 $α_L \in [0,1]$。在这里，$α_L$ 充当该分类法推导的可计算见证，而不是作为更强的经验预测因子。我们的结果是具有严格唯一全局最大化（定理 2）的内核的相对头深行表征、导出模式的绝对与相对编码的对偶性（命题 4）、学习的绝对欠定结果和静态表达力界限；充分性定理（定理 1）将 $α_L$ 与 LG 连接起来，一般确定性情况是一个精确的开放猜想（纠正一个诱人但无效的“outside-colspan”论证）。实验证实了结构：在受控单头机制 $α_L$ 中，准确分离了分类学的泛化和非泛化（PE、任务）单元（2625 个训练模型测量值；在词汇 64/d=128 时稳定）。总之，这些结果将已有PE经验分类转化为位置核转移定理，并识别出超出该理论边界的内容与深度机制。该理论仅涉及位置通道：目标取决于标记内容的任务（包括标准长度泛化套件（例如加法和排序））不属于​​定理 2。