好消息：在运动物理定量推理中诊断和校准 VLM

获得精确的空间和物理洞察力的能力是视觉语言模型（VLM）的基石，但它们在物理推理等相关空间智能任务中表现不佳仍然是一个基本障碍。社区严重缺乏科学分析来揭示 VLM 是否忠实地得出答案或合理地做出猜测。这项工作旨在提供对 VLM 如何感知物理世界和利用物理定律的基本理解，同时评估模型置信度的可靠性。我们提出了 NICE 和 FACT，这是一种双重诊断范式，可以明确分解运动物理学的定量推理：FACT 诊断视觉保真度、物理定律理解和时间基础。 NICE 研究了我们新颖的邻里知情校准方法和新颖的指标来评估和校准置信度可靠性。通过对 6 个最新最先进的 VLM 进行评估，我们发现模型无法识别视觉先决条件或利用必要的物理定律来得出答案。这项工作强调并建立了标准化的诊断范式，以指导忠实的、基于物理的 VLM 的开发。