追踪证据：通过视觉语言推理实现忠实的词元归属

大型视觉语言模型（LVLM）表现出强大的推理能力，但支持生成的响应的视觉和文本证据仍然难以识别。忠实的词元归因通过分配分数来解释 LVLM 的响应，这些分数根据模型对图像和提示词元的依赖程度对图像和提示词元进行排名，这样删除排名较高的词元会导致生成的响应的可能性更快地下降。然而，现有的标记归因方法主要是针对基于文本的语言模型而开发的，我们的实证研究揭示了涉及复杂的多模态源时的两个挑战。首先，联合图像-文本归因可能无法充分代表相对于文本的视觉证据，从而模糊支持响应的图像区域。其次，视觉证据可能会通过多个中间推理路径影响生成的响应，而现有方法仅跟踪这些路径的有限子集，导致重要的视觉贡献被低估。受这些见解的启发，我们引入了 VTrace，这是一种多模态词元归因框架，可通过中间推理跟踪输入贡献并校准跨模式的归因分数。 VTrace 构建成对归因，突出显示特定于词元的贡献，并以封闭形式聚合所有前向归因路径，以说明直接和间接贡献。然后，跨模态校准使用从响应可能性变化估计的模态贡献来重新调整图像和文本归因分数，从而实现输入标记的统一排名。针对六个视觉推理基准的七个基线的评估表明了卓越的归因忠实度。项目页面：https://vtrace-attribution.github.io/.