Transformer 从注意力和梯度角度的可解释性

尽管研究人员的注意力更多地集中在Transformer模型的性能上，但Transformer的解释永远不能被忽视。梯度在 Transformer 解释中被广泛使用。我们从注意力和梯度的角度，对Transformer解释进行了深入研究，并提出了一种通过引导梯度方向，或更准确地说是注意力方向来实现的方法。该方法能够更全面地解释特征区域，提供详细的解释，有助于更好地理解Transformer机制。利用 Vision Transformer (ViT) 和人类感知图像的差异，我们以人眼几乎无法察觉的方式改变图像的类别。这种类重写现象在某些场景下可能会带来安全风险。