Pantheon360：通过 3D 感知 360° 视频扩散驯服数字孪生一代

从视频生成完整的数字孪生需要精确的摄像机控制、全局场景覆盖和严格的时空一致性约束，由于视角 (FoV) 有限，​​这些约束对于透视视频生成器来说仍然具有挑战性。它们狭窄的视场迫使长或多视图轨迹，放大了跨视图不一致和时间漂移。我们认为 360° 视频生成提供了一种自然的解决方案：全景覆盖简化了轨迹设计，并为保持一致性提供了强大的全局背景。我们推出 Pantheon360：通过 3D 感知 360° 视频扩散驯服数字孪生生成，这是一种可控 360° 视频生成框架，可从稀疏 360° 输入合成高保真视频。关键思想是根据输入重建的显式 3D 缓存，它充当任何用户定义的相机路径的几何支架。这使得扩散模型能够专注于逼真的纹理细化，而 3D 缓存则强制执行全局几何一致性。实验表明，Pantheon360 实现了卓越的视觉质量和无与伦比的几何一致性，为下游仿真和数字孪生应用提供可靠且灵活的 360° 场景生成。