EPIC：极线一致 360° 沉浸式立体视频生成

沉浸式显示器可以实现丰富多样的虚拟体验。然而，手动创作每一种可能的体验来实现这一潜力的成本高昂、难以扩展且不切实际。生成式 AI 模型可以消除这一瓶颈，但当今的模型是为传统显示器构建的，无法生成沉浸式观看所需的高分辨率、立体的 360° 内容。此外，在传统显示器上可以容忍的时间和立体视觉不一致性在通过沉浸式耳机观看时可能会变得极具破坏性。在这里，我们通过零样本生成管道来解决这一差距，该管道将现有的视频扩散模型扩展到 4K 立体 $360^\circ$ 视频。受双目视觉和深度感知的启发，我们开发了一种极线感知的 $360^\circ$ 图像匹配度量，可以捕获视图之间的时间和立体几何不一致。然后，我们使用该指标作为偏好信号，以有限的训练数据进行直接偏好优化。我们的工作实现了 360°的立体视频生成，并提供了一条可扩展的路径，将生成内容引入沉浸式显示器，从而按需提供多样化的混合现实体验。