论文

迷失于感知:分离多模态物理与几何推理中的感知和推理失效

Lost in Perception: Isolating Perceptual and Reasoning Failures in Multimodal Physics and Geometry Reasoning

模型评测模型能力评测

摘要

多模态大语言模型在科学推理基准上报告了较强表现,但多数基准把感知与推理视为一个可测量过程。我们在物理与几何基准上提出五任务诊断实验,将失效定位为感知、推理或两者共同造成。即使模型仅凭文本可以正确求解,图示误读也会降低表现,而准确率通常从原始图像输入到人工编写描述输入逐步上升。部分模型在纠正描述后的恢复率很高,从而区分了受感知阻碍的失败与真正推理瓶颈。感知失败后出现哪种推理错误取决于领域:物理失败表现为计算错误,几何失败则表现为概念误用。作为核心实验之外的讨论,InternS1-mini虽然经过大量科学预训练并具备思考能力,却在每项任务上都低于实验中最弱模型,其推理轨迹经常在完成前截断。

迷失于感知:分离多模态物理与几何推理中的感知和推理失效:论文配图
图 1:物理(左)和几何(右)的感知误差级联。每个面板通过我们的分类中的所有三种感知错误类型来跟踪单个模型故障:描述错误(图表元素的错误识别)触发解释错误(建立在错误前提上的不正确的域推理),从而产生值错误(使最终答案无效的错误数量)。有关更多详细信息,请参阅部分 (§ 3)