论文
SHERPA:针对开放域 360$^\circ$ 全景生成的 Seam 感知协调 ERP 适应
SHERPA: Seam-aware Harmonized ERP Adaptation for Open-Domain 360$^\circ$ Panorama Generation
摘要
全景图像越来越多地用于世界生成、游戏和模拟,其中用户可能不仅需要逼真的场景,还需要风格化和非逼真的环境。大规模文本到图像的扩散和流模型为此目标提供了广泛的样式和语义先验,但平面图像训练使它们与等距柱状投影 (ERP) 表示的 360^\circ$ 全景图的环绕拓扑和极地区域不一致。我们提出了 SHERPA,这是一种轻量级自适应框架,结合了频率选择性循环 RoPE、循环潜在编码/解码、图像侧 FFN 适配器和双路径训练方案。圆形 RoPE 仅用整数周期谐波替换对接缝敏感的高频水平 RoPE 频段,同时保留预先训练的低频频谱。配对全景路径监督几何体,而未配对样式路径使用自我监督的偏航一致性来实现无目标的风格化提示。因此,SHERPA 在逼真的全景域和开放域风格化提示中生成了 360°全景图。