PR-IQA：基于扩散的新颖视图合成的部分参考图像质量评估

扩散模型对于稀疏视图新颖视图合成 (NVS) 很有前景，因为它们可以生成伪 真值 视图来帮助 3D 重建管道，例如 3D 高斯泼溅 (3DGS)。然而，这些合成图像通常包含光度和几何不一致，直接使用它们进行监督可能会损害重建。为了解决这个问题，我们提出了部分参考图像质量评估（PR-IQA），这是一个使用不同姿势的参考图像评估扩散生成的视图的框架，从而消除了对 真值 的需要。 PR-IQA 首先计算重叠区域中几何一致的部分质量图。然后，它执行质量补全，将此部分地图修复为密集的全图像地图。这一完成是通过交叉注意机制实现的，该机制结合了参考视图上下文，确保了跨视图一致性并实现了彻底的质量评估。当集成到扩散增强 3DGS 管道中时，PR-IQA 将监督限制在其质量图识别的高置信度区域。实验表明，PR-IQA 优于现有的 IQA 方法，无需 真值 监督即可实现全参考级精度。因此，我们的质量感知 3DGS 方法可以更有效地过滤不一致之处，从而产生卓越的 3D 重建和 NVS 结果。项目页面位于 https://kakaomacao.github.io/pr-iqa-project-page/。