论文

世界奥林匹克:你的世界模特能在铁人三项比赛中幸存吗?

WorldOlympiad: Can Your World Model Survive a Triathlon?

模型评测基准与评测资源

摘要

我们推出了 WorldOlympiad,这是一个跨物理 忠实性、几何一致性和交互保真度诊断基于视频的世界模型的基准。虽然现有的基准通常侧重于视觉质量、语义对齐或短期时间一致性,但它们对生成的视频是否遵守物理规则、保持连贯的 3D 结构以及在长期范围内维持可控交互的洞察力有限。为了解决这一差距,世界奥林匹克竞赛将世界模式评估分解为三个互补的维度。物理轨道使用对象分割和 MLLM 作为判断来评估生成的视频是否遵循力学、热现象和材料属性方面的可解释规则。几何轨道使用高斯分布重建生成的视频,并评估结构一致性、跨视图一致性和相机轨迹对齐。交互轨道评估生成的轨迹是否遵循复杂的动作提示,并在连续视频块之间保持平滑、连贯的过渡。 WorldOlympiad进一步涵盖了三个主要下游场景,包括游戏、机器人和一般现实世界视频,捕捉从交互控制和具体操作到开放域运动和相机动力学的各种挑战。这些轨道和场景共同构成了一个可扩展且可解释的评估套件,可揭示超出通用视频质量的故障模式。对最先进模型的实验揭示了物理推理、3D 一致性和长视野交互方面的巨大差距,强调了生成世界模型需要更结构化的评估协议。