论文

MultiWorldBench:独立控制的视图是否描述一个共享世界?

MultiWorldBench: Do Independently Controlled Views Describe One Shared World?

模型评测基准与评测资源评测方法与指标

摘要

多人游戏世界模型必须确保独立控制的视图与一个共享且持久的世界保持一致。我们推出了 MultiWorldBench,这是一个 Minecraft 诊断基准测试,包含 7 个任务套件的 495 个案例配置和 10 项功能,包括独立控制、跨视图运动、共享状态同步、持久性、结构推理、并发交互和延迟重访。我们以 Engine GT 作为参考来评估 Solaris、Gamma-World 和 MineWorld。在生成的系统中,Gamma-World 的十项能力平均值最高,为 21.39,其次是 Solaris(20.88)和 MineWorld(1.89),而 Engine GT 则达到 91.69。 Gamma-World 在多项控制、共享状态和重访功能方面表现更好,而 Solaris 在跨视图运动和竞争条件一致性方面领先。然而,所有生成的系统在状态持久性方面得分最多为 8.00,在结构一致性方面得分最多为 1.33,并且没有一个在空间推理或建筑身份保存方面取得成功。人类的偏好产生相同的总体排名 与自动评估表现出很强的一致性,平均维度水平 Spearman 相关性为 0.96。这些结果表明,合理的个人观点尚未构成一个连贯的多人游戏世界。