信号还是噪声？审计医学和航空成像中旋转引起的显着性漂移

Grad-CAM 等事后显着图越来越多地用于审核部署的视觉模型做出决策的原因，但当输入旋转时，即使预测不变，热图也会发生漂移。在没有规范方向的领域，例如组织病理学和航空图像，这会破坏使用显着性作为证据。我们询问该漂移是 CAM 算子引入的忠实信号还是噪声，并通过测量算子每个阶段的等方差来回答它，而不是从网络的输出中推断出来。这种不稳定性并不是人们所猜测的：通道权重是旋转最稳定的阶段，并且在 ResNet-50 上完全稳定，因为 GAP+线性头使类梯度场在空间上恒定。移动的是空间激活张量，分类器自己的池化会丢弃该移动。因果测试证实了这一结果：在任一方向上，遮挡显着性漂移的像素所花费的模型成本都低于遮挡随机像素的成本。漂移是由分类器丢弃的自由度带来的，这使得去除它变得忠实而不是破坏性的。 EquiGrad-CAM 是一个 无需训练 包装器，它采用 T 个旋转视图，将每个视图的显着性反向旋转到公共规范框架中，并求平均值。在完整的 ImageNet-1K 验证集上，它比单视图 Grad-CAM 的等方差提高了 +36.0% (ResNet-50)、+87.5% (VGG-16) 和 +247% (ViT-B/16)；比例匹配的消融在平均之前隔离对齐，而不是作为驱动程序的聚合轨迹。它在无需重新训练的情况下击败了旋转增强训练，将零样本 CLIP 提高了 145%，并在 PatchCamelyon 和 RESISC45 上产生了旋转一致的解释。其副产品 PEUM 根据解释的可重复性对解释进行排名，而无需超出已经采取的观点。代码：https://github.com/Khawaja-Murad/EquiGrad-CAM