MUGEN：通过摄像头控制进行交互式全景世界探索

交互式全景视频生成旨在合成沉浸式 360\text Degree{} 视频，在探索过程中遵循用户指定的相机轨迹的同时保持视觉连贯性。然而，进展受到数据和模型耦合差距的限制：现有的全景视频数据集通常很短、注释很弱或缺乏相机轨迹，而现有的相机控制视频生成模型是为透视视频设计的，不直接支持全景几何。在本文中，我们引入 MUGEN 和 Wan360 来解决这些限制。 MUGEN 是一个大型现实世界全景视频数据集，专为交互式 360 度世界探索而定制，包含超过 1,300 小时的至少 4K 全景视频，具有丰富的语义和几何注释。基于MUGEN，我们进一步推出了Wan360，一种摄像机控制的交互式全景视频生成模型。全景视频通常采用等矩形投影 (ERP) 来表示，它将球面 360 度视图展开到具有循环经度接缝和极点扭曲的矩形框架中。为此，Wan360 引入了三个无参数 ERP 感知组件：用于接缝一致位置编码的周期性经度 RoPE、用于减少边界伪影的 ERP 感知填充以及用于一致学习的随机滚动偏航。对于相机控制，Wan360 使用全景 Plücker 嵌入，用 ERP 射线而不是透视针孔射线表示相机运动。实验表明，MUGEN 可以作为全景世界探索的数据基础，而 Wan360 可以实现高质量、时间连贯、摄像机可控的 360 度视频生成。