论文
CoIn:采用高斯喷射引导的综合 2D-3D 修复
CoIn: Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance
摘要
3D 场景修复对于重建因遮挡或有限视点而损坏的区域至关重要。虽然最近的方法利用高斯泼溅 (GS) 进行高效的 3D 编辑,但它们通常依赖于精确的多视图分割掩模,并且本质上受限于对象删除任务。我们提出了 CoIn,这是一种通过多阶段一致性管道连接 2D 修复模型和 3DGS 的新颖框架。我们的方法首先使用扩散模型生成初始修复图像,从而能够使用任意形状的掩模和对象插入等各种任务。然后,我们引入具有特征注意力的参考自适应 GS,通过自适应权重参考视图(2D -> 3D)来重建粗略的 3D 场景。这种 3D 表示通过基于 GS 的参考特征变形为扩散过程提供几何指导,确保多视图一致性(3D -> 2D)。最后,纹理增强鉴别器细化 3D 场景以实现高光度真实感(2D -> 3D)。实验表明,CoIn 有效利用双向信息流,实现了最先进的性能,并通过灵活的掩码输入有效处理对象删除和对象插入。