论文
Saliency-R1：通过显着性图对齐奖励执行可解释和忠实的视觉语言推理
Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward
摘要
视觉语言模型（VLM）在各种任务中取得了显着的成功。然而，对其可信度的担忧仍然存在，尤其是倾向于更多地依赖文本线索而不是视觉证据，以及产生无根据或捏造反应的风险。为了解决这些问题，我们提出了 Saliency-R1，一个用于提高 VLM 推理的可解释性和 忠实性 的框架。具体来说，我们引入了一种新颖的显着性图技术，该技术可以有效地突出显示有助于生成标记的关键图像区域，而无需额外的计算开销。这可以进一步扩展到追踪视觉信息如何通过推理过程流动到最终答案，揭示思维过程和视觉上下文之间的一致性。我们使用显着性图和人工注释的边界框之间的重叠作为奖励函数，并应用组相对策略优化（GRPO）来对齐显着部分和关键区域，鼓励模型在进行推理时关注相关区域。实验表明 Saliency-R1 提高了推理 忠实性、可解释性和整体任务性能。