GRIT：屏蔽视觉误定位token的梯度以改善VLM可验证奖励训练

可验证奖励强化学习（RLVR）近期已扩展到视觉语言模型（VLM），但在文字密集的推理任务上仍受限制。我们指出一个关键原因：模型在中间步骤误读视觉信息，却经常仍能得到正确最终答案。我们称之为“结果正确但视觉依据错误的推理”（CVMR）。标准RLVR仅奖励最终答案正确，因而无法区分视觉依据正确与错误的推理，会同等强化二者。token级分析发现，CVMR token的注意力模式与视觉依据正确的token系统性不同。基于此，我们提出GRIT训练框架，将视觉证据对齐纳入RLVR，以缓解CVMR影响。此外，针对缺乏能够按文本长度和推理深度系统评估文字密集推理的基准，我们构建GRIT-Bench。实验表明，相比现有RLVR方法，GRIT显著提升推理准确率与视觉证据对齐保真度。