当注意力变得盲目时：ALiBi 位置编码中的数字失败

我们发现了 ALiBi 位置编码的一个先前被忽视的故障模式：它的线性偏差缩放导致浮点精度下溢，从而将大部分注意力权重归零，并使受影响的注意力头部分失明。我们分析了这种故障模式，描述了其影响，并研究了四种缓解策略。我们进一步证明了它在基于 ALiBi 的最先进的预训练模型中的出现。使用 148M 参数解码器模型进行全面的预训练实验有助于我们消除脱离上下文退化的影响。我们发现 ALiBi 的故障模式会严重损害词元检索，而对标准解码器基准测试的影响很小。我们提出了四种训练时间缓解策略，并对它们进行单独和组合评估，发现对数尺度距离在密钥检索方面产生最一致的改进。尽管存在这个问题，默认的 ALiBi 斜率仍然是一个令人惊讶的强基线，特别是对于大海捞针检索来说。基于这些发现，我们提供了有关如何使用 ALiBi 训练模型的具体建议。