论文
GAPS:稀疏视图 3D 高斯泼溅的生成主动伪视图选择
GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting
摘要
从稀疏观测中合成新的视图受到严重限制。尽管 3D 高斯泼溅 (3DGS) 可以实现实时渲染,但在使用少量视图进行训练时,它会产生漂浮物、破碎的几何形状和褪色的背景。我们提出了一种交替优化框架,该框架使用预先训练的图像扩散模型来生成几何一致的伪视图,以进行额外的 3DGS 监督。生成受到深度调节的 ControlNet、IP 适配器样式传输、LoRA 场景适应和 img2img 结构锚定的限制。我们引入生成主动伪视图选择(GAPS)来在选择目标视图时平衡重建信息性和生成可靠性。其退火时间表从训练早期的保守插值转变为后来的探索性外推,逐渐覆盖未观察到的区域。双标准准入门和不确定性加权损失拒绝不可靠的生成,而密度自适应 DropGaussian 则减少了复杂场景中的过度拟合。在具有 3/6/9 视图的 LLFF 上,我们的方法将平均 PSNR 比普通 3DGS 提高了 0.40/0.89/0.70 dB。在具有 12/24 视图的 Mip-NeRF 360 上,增益为 1.18/0.80 dB。在每种设置中,SSIM 都会提高,而 LPIPS 都会降低。消融表明主动选择和密度自适应正则化都是必要的;只有完整方法才能将无限 360 度场景中的 LPIPS 降低到无伪视图基线以下。