MetaView：具有尺度感知隐式几何先验的单目新颖视图合成

当前的视觉生成模型能够生成高质量的内容，但缺乏对空间结构的连贯感知。现有的生成新颖视图合成方法通常引入显式几何先验，这增强了空间一致性，但本质上限制了大视图变化中的泛化。相比之下，最近的交互式生成方法有利于隐式场景建模，以牺牲精确的相机控制和几何一致性为代价提供更大的灵活性。在本文中，我们提出了 MetaView，一种基于扩散的单目新颖视图合成框架，可以在单个图像的大视图变化下进行渲染。我们的主要见解是将隐式几何建模与最小但重要的显式 3D 线索相结合：我们将来自前馈几何感知网络的隐式几何先验结合起来，以在不施加限制性重建管道的情况下规范结构，同时利用度量深度将生成锚定到度量尺度。这种设计使得MetaView能够同时实现几何一致性和精确的可控性。大量实验表明，在具有挑战性的单眼大视点变化下，MetaView 显着优于现有方法并表现出卓越的泛化能力。我们的代码可在 https://github.com/KlingAIResearch/MetaView 上公开获取。