PhysMRV：用于物理合理性推理的物理内存检索和验证

视频语言模型（VLM）在视频理解和视觉问答方面取得了显着的性能，但它们在推理物理合理性方面仍然不可靠，而理解对象交互、因果动力学和基本物理原理至关重要。这种限制在具有挑战性的物理推理基准上尤其明显，揭示了物理常识推理中持续存在的差距。为了应对这一挑战，我们提出了 PhysMRV，一种用于物理合理性推理的 无需训练 物理内存和验证框架。与检索语义相似视频作为附加上下文的检索增强 VLM 不同，PhysMRV 将训练视频转换为结构化物理知识的分层记忆库，其中包含三个互补级别：捕获视觉上下文的场景描述、建模对象交互和因果结构的物理事件图以及提炼可重用物理原理和线索的物理规则摘要。在推理过程中，PhysMRV 检索物理相关记忆并利用其结构化物理证据来指导冻结的 VLM 验证物理合理性，既不需要 微调 也不需要参数更新。我们在多个最先进的 VLM 中根据三个具有挑战性的物理推理基准（ImplausiBench、IntPhys2 和 GRASP Level 2）评估 PhysMRV。实验结果表明，在不同的 VLM 和评估基准中，相对于直接提示，结构化物理记忆提供了一种有效且可扩展的方法，无需额外训练即可增强物理合理性推理。