ASAP：注意力池锚定修剪

由于高分辨率下自注意力的二次复杂度，Vision Transformer (ViTs) 面临严重的计算瓶颈。现有的词元减少方法依赖于局部指标（例如单层注意力分数），这些指标本质上很容易受到注意力下沉现象的影响，在这种现象中，无信息的词元被矛盾地保留在显着的前景对象上。我们提出了 ASAP（注意力接收器锚定修剪），这是一个 无需训练 框架，它将这个接收器重新塑造为一个功能。将 ViT 信息流建模为惰性随机游走，ASAP 将接收器识别为概率质量的主要累加器。通过计算累积转移矩阵内到接收器的扩散距离，ASAP 通过径向扩散聚类对词元进行分区，并通过转移权重池在单次操作中压缩背景冗余。跨图像、视频和视觉语言任务的大量实验表明，ASAP 的性能优于最先进的方法，可将吞吐量提高高达 48%，同时保持甚至超过基线精度。