WarpHammer：使用 3D 对象先验致密场景扭曲以实现极端视图合成

投影条件新颖视图合成 (NVS) 将输入视图的显式 3D 重建扭曲到目标相机中，并在扭曲渲染上调节生成器。这对于小的视点变化很有效，但在大的轨道运动下会急剧退化：绕轨道物体周围的扭曲变得稀疏，其中隐藏的表面主导新视图，并且出现类似镜子的伪像，导致生成器丢失像素内容和扭曲携带的隐式相机提示。我们引入了 WarpHammer，这是一个 无需训练 框架，它通过使用从本机 3D 生成先验（例如 SAM3D）获得的对象的显式 3D 重建来增强扭曲场景，从而解决了这种故障模式。重建的对象添加了缺失的前景表面并遮挡了不应再可见的背景点，从而在没有 微调 基础模型的情况下恢复了外观和相机线索。相同的显式对象表示进一步解锁了当前 NVS 管道不支持的功能：合并来自目标场景之外的源的对象的辅助视图，例如，与同一模型的制造商工作室拍摄配对的汽车的随意快照。我们与预训练的多视图几何基础模型联合处理参考图像和辅助图像，该模型预测我们融合到 3D 对象重建中的统一点云。这比单图像重建产生了更忠实的几何形状，而不需要用户为辅助视图提供相机姿势。在五个基准测试中，WarpHammer 在强基线崩溃的视点偏差处产生稳定的新颖视图，并且是第一个场景级 NVS 方法，可以自然地融合来自外部源的辅助、姿势未知的对象视图。