Sinkhorn 双随机注意力等级衰减分析

自注意力机制是 Transformer 架构成功的核心。然而，标准的行随机注意力已被证明会遭受跨层信号的显着衰减。特别是，它可以引起秩崩溃，导致词元表示越来越均匀，以及熵崩溃，其特征​​是高度集中的注意力分布。最近的工作强调了双随机注意力作为熵正则化形式的好处，促进更平衡的注意力分布并导致改善的经验表现。在本文中，我们研究了跨网络深度的秩崩溃，并表明使用 Sinkhorn 算法标准化的双随机注意力矩阵比标准 Softmax 行随机矩阵更有效地保留秩。正如前面针对 Softmax 所示，跳跃连接对于缓解秩崩溃至关重要。我们在情感分析和图像分类任务中凭经验验证了这种现象。此外，我们在使用 Sinkhorn 归一化时推导了纯自注意力等级衰减的理论界限，并发现等级随深度呈双指数衰减，这种现象已经在 Softmax 中得到了证明。