论文

将世界模型建模为群作用

World Models as Group Actions

模型评测评测方法与指标

摘要

视频世界模型已经实现了很强的视觉真实感,但这并不能确保它们的动态真正受到动作的控制。在这项工作中,我们认为应该通过动作的组合结构来理解动作 忠实性,该结构在许多具身场景中遵循群结构(例如,用于导航的 SE(2))。基于这种见解,我们将动作条件世界建模形式化为在状态空间上实现群作用,为评估视觉质量之外的动态提供了原则性标准。为了实施该框架,我们提出了一种统一的方法,通过潜在空间正则化和综合监督来约束单位元、逆元和复合的一致性,避免额外的数据收集。我们进一步引入两个指标:群作用一致性(GAC)和群作用鲁棒性(GAR),以评估结构正确性和采样轨迹稳定性。大量的实验结果表明,我们的方法持续改进了最先进的视频世界模型中的 GAC 和 GAR,而不会降低感知质量。