论文
WorldRoamBench:交互式世界模型长期稳定性的开放世界基准
WorldRoamBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models
摘要
尽管交互式世界模型 (IWM) 取得了快速进展,但短期表现并不能建立持续的动作跟随、视觉稳定性、物理合理性或记忆。我们引入了 WorldRoamBench,这是一个跨越四个维度的长视野稳定性的开放世界基准,每个维度都有创新:(i)动作:每帧动作度量绕过跨模型语义尺度差异并暴露轨迹隐藏的故障; (ii) 愿景:滑动窗口漂移度量捕获开始与结束比较中遗漏的非单调中间序列崩溃; (iii) 物理:通过摄像机运动和对象跟踪检查来评估机械、光学和 3D 一致性方面的物理合理性; (iv) 记忆:一种轨迹感知协议,可减少动作跟踪错误造成的混淆,通过过渡局部 3D 点云重建评估场景记忆,并通过跟踪加 VLM 推理评估受试者记忆。该基准测试包含 1000 多个测试用例,涉及自然、城市和室内场景,采用第一人称/第三人称视角,WASD 持续交互 10-60 秒。评估 10 多个开源/闭源模型表明,没有一个能够可靠地满足所有维度;即使是最好的也只能取得中等的分数。 WorldRoamBench 的进步是朝着 IWM 迈出的一步,IWM 稳定、符合物理规律的、内存可靠且可在实际应用中部署。