论文

基于世界模型的视频生成物理一致性免参照评估

Reference-Free Assessment of Physical Consistency in World Model-based Video Generation

模型评测评测方法与指标

摘要

我们引入评估生成视频物理一致性的免参照度量——结合相对与绝对方法评估保真度。虽然WorldGym或WorldEval等工具经视频生成实现机器人仿真——物理保真缺口常阻止这些环境准确复现VLA模型的真实任务成功率。不同于需要昂贵人工投票(Elo)或不可得真值参照(FVD)的既有评估方法——受WorldScore启发——我们的方法利用DROID-SLAM与SEA-RAFT量化物理不一致。经我们相对一致性评估过滤的视频任务成功率提升超8%——有效收窄仿真到现实差距。此外——我们的绝对评估支持时空定位——提供物理伪影何时何地发生的可视化。

基于世界模型的视频生成物理一致性免参照评估:论文配图
图 1:相对评估概述。使用 DROID-SLAM [15] 和 SEA-RAFT [18] 评估生成的发布以获得相对异常分数,从而能够根据物理合理性对样本进行过滤和排名。