NewtPhys：基础模型理解牛顿物理学吗？

之前的工作已经使用合成或半合成场景和视觉问答任务评估了基础模型中的物理推理。然而，这些基准强调高级事件，缺乏评估真正的底层牛顿理解所需的视觉保真度。我们介绍 NewtPhys，这是一个 4D 物理注释数据集，由现实世界场景的多视图图像和基于物理的模拟构建而成。该数据集提供了跨时间步长的密集、细粒度的注释——包括 3D 力和涵盖物理、跟踪、语义和几何的非模态每像素数量——弥合了简单的合成设置和现实的视觉复杂性之间的差距。使用 NewtPhys，我们系统地评估了 56 个 VLM，包括 54 个开放权重模型和 2 个闭源前沿模型，以及 10 个 VFM，并揭示了底层物理推理的局限性。除了基准测试之外，我们的数据集还支持未来基于物理的视觉研究和下一代物理感知评估的开发。代码和数据集可在 https://astra-vision.github.io/NewtPhys 获取。