SpheRoPE：使用球形 RoPE 生成零样本免优化 360 度全景图

我们提出了一个零样本、无需训练 和免优化框架，通过直接将球形先验注入到预训练的扩散 Transformer 中来生成 360 度全景图像和视频。现有方法要么依赖于昂贵的 微调 限制泛化的稀缺全景数据，要么利用导致推理延迟过高的多步优化。我们观察到，当代的生成模型本身就展示了大规模训练的一些全景先验。然而，这些新兴能力还不够，因为这些模型从根本上无法满足等距柱状投影（ERP）施加的严格拓扑约束。我们引入了一种零样本和免优化的方法，可以在推理时解决这些约束。球形 RoPE 取代了标准旋转位置嵌入：低频通道被重新参数化为 3D 笛卡尔坐标，以对球形流形进行本机编码，而高频通道则被谐波量化以强制执行精确的周期性。再加上明确引导几何形状的补充语义失真无分类器指导（CFG），我们避免了重新训练并继承了最先进模型的全部创意广度。我们的方法适用于不同的骨干网和 360 生成模式。我们使用 Flux.1、Flux.2 和 LTX-Video 主干网在文本到全景中演示了这一点，实现了相对于基线的竞争性能，同时保留了 无需训练。项目页面：https://orhir.github.io/SpheRoPE