VoxelTTO：具有测试时间优化的体素对齐前馈 3D 高斯泼溅

最近的前馈 3D 高斯泼溅 (3DGS) 方法通常会回归像素对齐的高斯基元，通常会导致过度重叠和伪影，而预测相机姿势的不准确可能会导致新颖视图合成 (NVS) 中的不对准。我们提出了 VoxelTTO，这是一种前馈框架，用于根据任意数量的图像和可选的相机参数重建几何精确的 3DGS 场景。 VoxelTTO 将密集图像特征聚合为全局体素表示，并从体素特征中解码高斯分布，打破了像素与高斯的对应关系。为了利用已知的相机参数，同时保持预训练的视觉基础模型 (VFM) 参数冻结，我们引入了测试时优化 (TTO)，该优化使用姿势监督来适应轻量级 LoRA 模块。我们在训练和推理过程中进一步用随机实体体积渲染替换普通 3DGS 光栅化，从而提高几何保真度。训练仅更新体素对齐的高斯重建模块，需要 80 个 GPU 小时。在 Replica、Tanks and Temples 以及 DTU 上进行的实验表明，相对于之前的方法，RGB-D NVS 和相机姿态估计得到了改进。