TriWorldBench：体现世界模型的三视图一致性视角

具身世界模型可以预测机器人动作的结果，以支持学习和规划。对于配备头部和手腕摄像头的机器人，这需要互补的视图：头部视图捕获整体任务，而手腕视图则显示局部夹具与物体的交互。然而，独立评估这些视图无法确定它们是否描述相同的动作和对象状态。我们推出 TRIWORLDBENCH，这是一个通过同步头部、左手腕和右手腕视频评估具体世界模型的基准。它包含 50 个双手操作任务的 500 个片段，并使用 19 个指标来评估三视图一致性、任务对齐、物理和 3D 连贯性、运动质量、时间一致性和视觉质量。通过将交叉视图检查与针对每个摄像机量身定制的测量相结合，该基准测试可以评估看似合理的单个视频是否也对预期任务形成一致的预测。我们使用 TWB-Score 总结整体性能，并保留每次观看的结果，以确定预测失败的位置。这将世界模型评估扩展到单视图视觉质量之外。代码、数据和指标定义可从此 https URL 获取。