PhyCheck：用于视频中物理定律理解的细粒度循证数据集-LLM

具身智能和世界模型要求视频理解系统超越识别物体和动作的范围，并发展对物理规律的理解。然而，尽管当前的视频语言模型在一般视频理解任务上表现出色，但仍然难以可靠地确定观察到的事件是否符合特定的物理定律。现有基准主要评估生成视频的物理质量，为系统评估和提高视频 大语言模型 (VideoLLM) 的物理定律理解提供有限的支持。为了解决这一差距，我们引入了 PhyCheck，这是一个以两个互补的粒度级别组织的视频问答数据集。粗粒度子集要求模型确定视频中显示的现象是否符合或违反物理定律，而细粒度子集则进一步检查模型是否可以捕获导致违规或合规的物理细节。我们使用这些子集作为结构化监督来提高物理理解。此外，该数据集包含一个具有外部因果背景的诊断子集，揭示影响物理合理性的隐藏因素，评估模型是否可以相应地重新校准其判断。 Fine-tune Qwen2.5-VL 的实验表明，使用所提出的数据进行训练大大提高了对物理一致性的理解，而诊断子集中的评估表明，当前模型仍然难以将额外的因果条件纳入其决策中。这些发现凸显了识别表面不一致与理解底层物理机制之间的差距，并为评估和提高 Video-LLM 中的物理理解提供了基础。