论文
PAWBench:我们距离概率对齐世界建模还有多远?
PAWBench: How Far Are We from Probabilistically Aligned World Modeling?
摘要
最近的视频生成模型越来越多地被视为世界模型。许多物理过程可以以不止一种有效的方式展开。因此,世界模型不仅应该重现合理的轨迹,还应该重现相同的初始观察和行动下可能行为的分布。我们将此称为分布级需求概率对齐。然而,现有的评估主要评估单个视频的合理性,并且没有测试重复生成是否恢复正确的分布。这就提出了一个核心问题:当前的视频生成器距离概率对齐的世界建模还有多远?为了回答这个问题,我们将概率对齐形式化为世界模型的分布标准,并引入 PAWBench,这是一个评估视频生成器作为世界动态随机采样器的基准。我们进一步引入 PAWEval,这是一种结果级协议,可将重复的视频采样轨迹转换为可能的物理行为的经验分布。在 50 个场景和 11 个当前系统中,没有模型能够在恢复有效行为范围的同时始终匹配参考概率。确定了这一差距后,我们测试语言提示、初始噪声采样或 模型训练 是否可以重塑模型的预测分布。我们相信我们的工作可以作为未来努力走向概率一致的世界建模的基础。