论文

Gimbal360:规范化平面扩散以完成球形全景

Gimbal360: Canonicalizing Planar Diffusion for Spherical Panorama Completion

应用与实践内容创作

摘要

扩散模型为 2D 图像补全提供了强大的先验,但这些先验是在有界平面图像上学习的,不会直接转移到 $360^\circ$ 全景图。透视观察和球形全景在投影几何和拓扑方面都存在差异:视点相关的畸变使空间对应变得复杂,而等距柱状投影 (ERP) 全景则表现出标准欧几里得体系结构无法保留的内在 $S^1$ 周期性。我们提出了 Gimbal360,一个统一的框架,通过标准化这些几何和拓扑结构,将平面扩散先验适应球形全景完成。我们的规范观看空间将投影畸变表示为纬度的固定函数,在透视输入和球形全景之间提供一致的接口。为了将未摆出的野外图像映射到该空间,可微分投影规范化将密集的对应场投影到 3-DoF 刚性投影流形上,无需推理时的相机参数。我们进一步引入拓扑等变生成,它强制潜在的平移等变以保持跨周期性 ERP 边界的连续性。总之,这些设计允许扩散在其几何形状和拓扑结构与球形域明确对齐的表示中进行操作。我们还介绍了 Horizo​​n360,这是一个精心策划的重力对齐全景环境的大规模数据集。大量实验表明,Gimbal360 在 $360^\circ$ 场景完成中实现了最先进的视觉保真度和接缝连续性。