论文
PhysEditWorld:面向物理可编辑世界模型的大型数据集
PhysEditWorld: A Large-Scale Dataset Toward Physics-Editable World Models
摘要
最近的游戏世界模型可以合成视觉上合理的、以动作为条件的展示。然而,它们的交互行为通常仍然局限于探索或徘徊的轨迹,并且物理动力学通常是作为数据中的隐式相关性而不是作为可控变量来学习的。这种限制阻碍了它们在编写的游戏环境中的适用性,在这些环境中,物理规则是故意设计的并且需要显式操作。我们引入了 PhysEditWorld,一个具有物理参数的多模态数据集,在此初始版本中主要关注重力。 PhysEditWorld 的核心是建立在通过 UE5 重播和渲染管道实现的重播范例之上。每个场景都会记录标准化的动作轨迹,并在多种重力配置下重放相同的初始状态、角色控制器、动作序列和摄像机策略,从而实现受控和可归因的物理变化。 PhysEditWorld 包含 12 个电影 UE5 场景、超过 100 小时的游戏交互以及超过 6000 万个渲染卷展帧。每个样本都提供同步的多模态信号,包括 RGB、深度、法线、音频、动作轨迹、相机轨迹、引擎状态、语义注释和明确的重力标签。我们进一步对生成视频模型和世界理解模型进行了初步实用研究,证明 PhysEditWorld 能够改进忠实于重力的动力学建模,增强物理编辑下的一致性,并为可控世界建模研究提供可扩展的基础。