论文
迷失于感知:分离多模态物理与几何推理中的感知和推理失效
Lost in Perception: Isolating Perceptual and Reasoning Failures in Multimodal Physics and Geometry Reasoning
摘要
多模态大语言模型在科学推理基准上报告了较强表现,但多数基准把感知与推理视为一个可测量过程。我们在物理与几何基准上提出五任务诊断实验,将失效定位为感知、推理或两者共同造成。即使模型仅凭文本可以正确求解,图示误读也会降低表现,而准确率通常从原始图像输入到人工编写描述输入逐步上升。部分模型在纠正描述后的恢复率很高,从而区分了受感知阻碍的失败与真正推理瓶颈。感知失败后出现哪种推理错误取决于领域:物理失败表现为计算错误,几何失败则表现为概念误用。作为核心实验之外的讨论,InternS1-mini虽然经过大量科学预训练并具备思考能力,却在每项任务上都低于实验中最弱模型,其推理轨迹经常在完成前截断。
