论文

强化学习对视觉推理有何改进?弗兰肯斯坦式的分析

What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis

模型评测模型行为与机制分析

摘要

具有可验证奖励的强化学习 (RL) 已成为增强视觉语言模型中视觉推理的标准 后训练 阶段,但与作为冷启动初始化 (IN) 的监督式 微调 相比,目前尚不清楚 RL 实际改进了哪些能力。端到端基准测试的收益融合了多种因素,因此很难将改进归因于特定技能。为了弥补这一差距,我们提出了一个弗兰肯斯坦式的分析框架,包括:(i)通过因果探测进行功能定位; (ii) 通过参数比较更新表征; (iii) 通过模型合并进行可转移性测试。相反,强化学习主要在中后期层引起一致的推理时间偏移,并且这些中后期的改进对于强化学习增益来说既是可转移的(通过合并)也是必要的(通过冻结)。总的来说,我们的结果表明,强化学习在视觉推理中的可靠贡献不是视觉感知的统一增强,而是对中后期 Transformer 计算的系统改进,提高了视觉与推理的一致性和推理性能,凸显了仅基准评估对于理解多模态推理改进的局限性。