PanoWorld：真实世界全景生成

在这项工作中，我们的目标是通过利用全向表示的旋转等变特性来解决全景世界模型中的远程记忆的挑战，其中旋转可以被视为隐式几何变换。基于这一见解，我们提出了 PanoWorld，它通过密集全景光线调节（DPRC）和几何感知记忆增强，将当前动作建模和远程记忆的固定标题简化为相机轨迹转换(GMA)。然后，引入三阶段训练管道来逐步优化每个组件。为了更好地评估大规模空间变化和多样化光照条件下的物理一致性，在现有数据集相对稳定的情况下，我们构建了 World360，这是一个由全景无人机收集的真实世界视频片段和 AirSim360 生成的高质量模拟片段组成的大规模数据集。在 World360 上进行的大量实验证明了 PanoWorld 的有效性，大大优于其他方法。我们的模型、训练代码和数据集将公开提供。更多信息可以在我们的项目页面上找到：https://lihaoy-ux.github.io/panoworld-page/。