小型视觉语言模型在定性力学问题上的评估

定性力学问题求解（QMPS）指求解力学领域的定性问题。定性问题只需极少学科专属信息、无需任何复杂的定量计算即可求解，通常依靠定性推理和常识知识。QMPS是人类智能的重要方面，使我们能应对从打开水龙头等简单日常任务到急诊医学、管道安装、驾驶等各领域中要求高、薪酬优厚的复杂工作。雇主常使用贝内特机械理解测试（BMCT）来评估求职者解决此类问题的能力。在这项工作中，我们通过引导逐步思维链（CoT）和最终答案，评估两个最先进的多模态模型Gemma-3和Qwen-VL解释力学问题图像的能力。每张图像固有地编码了真值定性事实，如齿轮接触点、支撑关系和相对重量，我们用它们评估每个模型的空间和常识推理能力。我们评估每条思维链的连贯性、完整性和逻辑推进以考察各模型的思考过程，并将最终答案与经过验证的解答比较以衡量准确率。