论文
世界嵌入基准
World Embedding Benchmark
摘要
物理保真在世界模型与视频生成中受关注日增,但视频表示如何编码物理信息仍了解较少。我们提出世界嵌入基准:来自流体力学、固体力学、动力学与光学电磁学80个族的8000个受控仿真案例。每个案例把渲染视频与仿真导出的物理标注配对,支持三个互补任务:文本-视频检索、物理属性回归与选择题视频-描述对分类。我们用这些任务区分跨模态物理对齐与定量物理信息的可恢复性。受评预训练全模态嵌入模型检索弱、族内配对分类接近随机,而轻量探针能从冻结视频嵌入恢复有用的物理信息;以物理特定视频-文本对的持续对比训练改善检索与配对分类但退化物理属性回归——揭示对齐与定量信息可恢复性间的权衡。最后我们用嵌入为MiniMax-H3的检索增强生成检索参考视频:检索到的参考改善生成视频的物理保真,更强的检索模型带来更大增益。结果共同强调需联合评估物理对齐与属性可恢复性,并展示物理表示对改善视频生成的效用。