物理智商验证

视频生成模型 (VGM) 已成为一个新领域，它不仅可用于视频生成，还可用于多种下游任务，包括世界建模。为了推进这些任务，一个好的视频模型必须了解世界的物理现实。评估这种理解是一个新兴领域，并催生了Physics-IQ 基准，该基准通过将模型生成的视频与物理实验的真实视频进行比较来明确量化这一点。在这项工作中，我们对Physics-IQ 基准进行了系统审核，暴露了缺点并提出了三种解决方案，以增强我们测量 VGM 的物理理解的方式。具体来说，我们改进了提示和 真值 质量，以减少混杂因素的影响，并进一步引入样本级评分系统，对每个样本和指标进行同等加权。我们得出的基准，Physics-IQ Verified，改进了所有样本的 57.6%，并改进了超过 34.8% 的提示。在使用六个图像到视频生成模型的比较研究中，我们观察到适度但有意义的排名变化（Kendall 的 $τ= 0.46$）。我们希望Physics-IQ Verified 通过为物理准确的 VGM 提供更可靠的信号来推动社区发展。基准测试的代码可以在 https://github.com/google-deepmind/physicals-iq-benchmark 访问