位置 LSH：具有线性偏差的注意力的二元块矩阵近似

Transformer 中的位置编码通常通过位置嵌入、注意力掩码或偏差项来实现，但这些机制之间的正式联系仍然有限。我们通过局部敏感哈希 (LSH) 的视角来研究具有位置偏差的注意力，重点关注具有线性偏差的注意力 (ALiBi)。我们证明 ALiBi 偏差矩阵是由“位置 LSH”方案引起的连续块对角二进制掩码的期望。从该方案中采样的掩码的经验平均值以高概率产生具有有界块大小的谱范数和最大范数近似保证。该结构定理意味着 ALiBi 偏向注意力的一致近似定理：在采样掩码上具有高概率，近似注意力输出对于所有查询键值输入同时准确，并且可以在上下文长度中以近线性时间计算，将长上下文 ALiBi 减少为随机短上下文常规（位置无偏）注意力操作的集合。从概念上讲，这将位置偏差、掩码和位置嵌入连接在一个正式框架中，并提出了一种有效的 ALiBi 偏差注意力的方法。 大语言模型 上的实验验证了我们的理论发现。