论文

学习稳定的规范场景表示,支持新视角合成与视觉任务

Learning Stable Canonical Worlds for Novel View Synthesis and Beyond

应用与实践视觉感知与空间理解

摘要

前馈高斯泼溅FFGS支持实时新视角合成,但现有方法往往依赖视角相关预测。增加输入视图时,可能累积噪声和冗余而非形成稳定场景表示。CanonicalGS将杂乱多视图观测映射到以场景为中心的稳定表示,先从深度、语义特征和不确定性中提取各视图证据,再在规范潜在世界中以不确定性感知融合汇总。通过强调可靠观测、抑制不确定或冗余信息,方法更好地利用新增视图,并向下游视觉感知任务迁移。实验中新视角合成峰值信噪比最高提高2.5 dB,语义分割准确率提高11%。