反射感知生成小说视图合成

我们提出了 Ref-GeNVS，一种 无需训练 反射感知方法，用于在镜像场景中生成新颖的视图合成（NVS）。现有的多视图扩散模型通常无法识别场景中的镜子，并且无法利用反射内容来生成场景。为了在不进行额外训练的情况下解决这个问题，我们的关键思想是将镜像视为两个互补的视图。根据输入图像，我们估计镜面并反射相机姿势以形成虚拟视图。基于此虚拟视图设​​置，我们提出了一种由镜像门控注意力和反射注入组成的两阶段生成方法，该方法通过显式利用多视图扩散模型中的反射关系来实现反射一致的 NVS。 Ref-GeNVS 继承了多视图扩散主干的强通用性，同时不需要微调。在包括镜子在内的合成和真实场景中，Ref-GeNVS 通过生成反射一致和上下文连贯的新颖视图，揭示了仅通过镜子可见的场景结构，从而优于最近的生成式 NVS 方法。项目页面：https://kim-geonu.github.io/Ref-GeNVS/