PhaseWin：一种用于忠实视觉归因的高效搜索算法

视觉归因是解释现代视觉和视觉语言模型的基本工具，特别是当必须检查、诊断或审核其决策时。其目标是解释模型的决策如何取决于视觉输入的局部区域，通常是通过对候选图像区域分配重要性排序。给定划分为 $n$ 个区域的图像，忠实归因可以转化为有序子集搜索问题，其中逐步插入所选区域应尽早恢复目标模型响应。对区域子集的穷举搜索会产生指数成本，而广泛使用的贪婪搜索仍然需要二次模型评估，因为每个选择步骤都会对所有剩余候选者重新评分。我们提出了 PhaseWin，一种用于忠实视觉归因的高效子集搜索算法。 PhaseWin 将贪婪区域选择重新组织为分阶段的窗口搜索过程：它不是在每一步都重新评估完整的候选集，而是在全局候选筛选、自适应剪枝和局部窗口细化之间交替，同时保留贪婪搜索的基本区域排名行为。我们在单调证据积累条件下分析 PhaseWin，并表明在特征级结构假设下，它获得了可控的线性评估复杂性以及近乎贪婪的 忠实性 保证。关于图像分类、目标检测、视觉定位和图像描述的大量实验表明，在所有比较的归因方法中，PhaseWin 以最少的前向传递达到了较高的 忠实性，根据经验实现了从 $O(n^2)$ 到 $O(n)$ 的预测减少。代码可在 https://github.com/Qihuai27/phasewin-va 获取。