Mover360：360°全景图像中的可控对象操纵

我们推出了 Mover360，一个用于 360° 图像的可控对象操作框架。与透视图像不同，等距柱状投影 (ERP) 中的 360° 图像表现出水平环绕、纬度相关的失真和全局场景连续性，这使得现有透视编辑器难以生成对象级编辑，也难以让用户指定。为了解决这个问题，Mover360 以对象翻译（在现有全景图中重新定位指定对象）为中心，同时支持参考引导的插入和删除作为辅助任务。其界面通过将每个任务编码为固定提示和紧凑的、与 ERP 对齐的指令图，统一了点引导、框引导和掩模引导控制。在默认点模式下，单击即可重新定位对象，使模型能够使用全景上下文和辅助深度条件来推断合理的大小、支撑和照明。从结构上讲，Mover360 是预训练扩散 Transformer 的轻量级改编。为了生成配对监督，我们构建了一个具有表面感知对象放置和随机照明的 UE5 数据生成管道，为所有三个任务生成大规模配对数据以及使用 真值 的合成和真实全景图的双域基准。在两个测试领域和两个评估协议中，Mover360 在重建保真度、语义一致性和分布质量方面均优于透视编辑、插入和修复的强大基线。代码和我们的基准数据集可在 https://zhonghaoyi.github.io/Mover360/ 获取。