视觉 Transformer 可解释性的决策感知注意力传播

视觉 Transformer (ViT) 已成为计算机视觉中的主导架构，但其预测过程仍然难以解释，因为信息是通过跨层和注意力头的复杂交互传播的。现有的基于注意力的解释方法提供了一种直观的方式来跟踪信息流。然而，它们主要依赖于原始注意力权重，这些权重并不能明确反映最终决定，并且通常会导致类别区分性有限的解释。相比之下，基于梯度的定位方法在突出特定类别的证据方面更有效，但它们没有充分利用 Transformer 的分层注意力传播机制。为了解决这个限制，我们提出了决策感知注意力传播（DAP），这是一种将决策相关先验注入到 Transformer 注意力传播中的归因方法。通过基于梯度的定位来估计词元重要性并将其集成到逐层注意力逐层传播中，该方法捕获了注意力的结构流和与最终预测最相关的证据。因此，DAP 生成的归因图比传统的基于注意力的方法生成的归因图更加类别敏感、紧凑和忠实。不同模型尺度的 Vision Transformer 变体的广泛实验表明，DAP 在定量指标和定性可视化方面始终优于现有基线，这表明决策感知传播是提高 ViT 可解释性的有效方向。