论文
ArtifactWorld:通过视频生成模型缩放 3D 高斯飞溅伪影恢复
ArtifactWorld: Scaling 3D Gaussian Splatting Artifact Restoration via Video Generation Models
摘要
3D 高斯溅射 (3DGS) 可提供高保真实时渲染,但在稀疏视图约束下会出现几何和光度退化问题。当前的生成恢复方法通常受到时间一致性不足、缺乏明确的空间约束以及缺乏大规模训练数据的限制,从而导致多视图不一致、错误的几何幻觉以及对各种现实世界工件分布的泛化能力有限。在本文中,我们提出了 ArtifactWorld,这是一个通过系统数据扩展和同质双模型范式解决 3DGS 工件修复问题的框架。为了解决数据瓶颈,我们建立了 3DGS 工件的细粒度现象学分类法,并构建了 107.5K 不同配对视频剪辑的综合训练集,以增强模型的鲁棒性。在架构上,我们将恢复过程统一在视频扩散主干内,利用同构预测器通过伪影热图来定位结构缺陷。然后,该热图通过伪影感知三重融合机制指导恢复,从而在本机自注意力内实现精确的、强度引导的时空修复。大量实验表明,ArtifactWorld 在稀疏新颖视图合成和稳健的 3D 重建方面实现了最先进的性能。代码位于:https://github.com/fyting/ArtifactWorld。