DualDiff3D：用于可靠性增强的 3D 高斯泼溅的双结构-外观扩散先验

虽然 3D 高斯分布 (3DGS) 彻底改变了 3D 重建和新颖视图合成，但输入视图有限的场景通常会导致重建质量较差，并且在渲染的新颖视图中出现伪影。最近的努力尝试利用强大的扩散先验，但它们通常处理沿单个网络中的附加维度串联的渲染和参考视图。这些方法忽视了一个固有的本质，即不同的视图应该保持外观相似性，但由于视图的移动而在结构上有所不同，从而导致由于两个属性之间的冲突而引起的模糊。在本文中，我们提出了 DualDiff，这是一种新颖的管道，它利用双扩散先验和结构-外观注意 (SAA) 模块来引入参考指导，以细化从有缺陷的 3D 表示呈现的低质量新颖视图。具体来说，我们保留一个扩散分支，专注于从低质量的新颖视图中提取结构信息，同时引入另一个分支以确保与参考视图的外观一致性。此外，我们提出了一个名为 DualDiff3D 的 3D 重建框架，它集成了可靠性增强的渲染-细化-优化 (RRO) 循环，以逐步稳健地合并精炼的新颖视图，从而产生更准确的 3DGS。大量的实验表明，即使在仅推理的环境中，我们的方法也优于最先进的方法，并且通过训练可以进一步提高性能。我们的代码和预训练权重可在 https://github.com/Akaneqwq/DualDiff3D 上获取。