所有路线都会导致崩溃

注意力下沉、表征崩溃和常态分层被视为 Transformer 特有的病症。我们证明它们并不是特定于注意力的：它们是基于内容的路由在固定相似性度量下所做的事情。我们给出了一个重构恒等式：softmax 注意力是在具有恒定关键范数的欧几里德距离上的玻尔兹曼加权聚合，因此它的分数省略了 $-\|k\|^2$ 项，并且对关键幅度视而不见。这预测任何度量与其表示不匹配的路由器都应该通过集中其路由并折叠路由表示来进行补偿。我们在不同轴上评分和聚合的路由器上对其进行测试：对词元的 softmax 注意力（九个预训练的 Transformer）、对节点的图注意力、选择性状态空间模型和随时间变化的循环混合器，以及随深度学习的残差。所有这些都开发出相同的签名，并且两个模型内消融表明它是由路由机制而不是偶然的动态引起的。形式是偶然的，由每个路由器及其内容分数所携带的位置制动的强度决定；我们扫过刹车并将起点移至整个范围。该机制不是偶然的，也不需要范数分层：具有范数标准化密钥的路由器集中程度相同。我们并不声称这些模型实现了黎曼几何；几何视图是一种诊断，指出了平面、常模盲度量的不足之处。