PRISM：通过几何扭曲残差建模进行前馈单图像 3D 重建

从单个图像重建 3D 场景是计算机视觉领域的一项基本挑战，在虚拟现实、机器人技术和内容创建领域有着广泛的应用。最近的方法通过利用摄像机控制的视频扩散模型实现了出色的性能，但依赖于迭代扩散采样，这极大地限制了它们的实际部署。我们观察到，仅几何前向扭曲就可以直接从输入图像覆盖目标视图的大部分，只留下紧凑的残差供编码器纠正。受这一观察的启发，我们提出了 PRISM，这是一种前馈框架，它将多视图潜在预测分解为无参数几何先验和学习残差校正，推理时不需要扩散采样。为了实现纯合成训练数据的泛化，我们设计了一种两阶段训练策略，结合用于几何泛化的潜在监督 蒸馏 和用于外观质量优化的感知 微调。对三个基准的大量实验表明，与基于扩散的方法相比，PRISM 实现了有竞争力的重建质量，同时将推理时间大幅缩短至每个场景仅 36 秒。