RDGSplat：为新视角合成单独学习渲染几何

摘要

3D 基础模型通过在已用于重建的表示上携带高斯头，实现高效的新颖视图合成。然而，它们渲染的视图达不到它们恢复的几何形状，因为该几何形状是在度量目标下估计的，并且从未根据其渲染方式进行评分。最近的方法通过更新骨干网权重来缓解这一问题，但它们因此放弃了模型构建的度量预测，并且必须对每个新骨干网重复。为此，我们提出了 RDGSplat，这是一个框架，用于解码专用于从冻结的 3D 基础模型进行渲染的第二个几何体，并保持其度量预测完好无损。特别是，我们设计了渲染专用几何解码，它复制预训练的解码器并仅在光度监督下优化重复项。然后，引入目标姿势条件适配器来重新制定这些解码器读取的表示，以目标相机姿势而不是目标图像为条件。大量实验表明，RDGSplat 在四个基准上改进了三个前馈主干的新颖视图合成，每个预训练权重都被冻结。在 RE10K 上，它将 WM2.0 从 20.918 提高到 24.266dB，同时训练 205.5M，针对冻结的 1.4B 主干添加参数，并且相同模型预测的深度和姿势保持不变。

RDGSplat：为新视角合成单独学习渲染几何：论文原图 — 图 3：总体框架。 RDGSplat 对冻结的 3D 基础模型进行两次评估，并生成公制几何体和渲染专用几何体。Token栏标记每个评估携带哪些视图：zAz_{A} 跨越上下文视图和目标视图，zBz_{B} 仅包含上下文视图。未经修改的评估提供给预训练的头部，该头部预测深度、相机姿势和形成度量几何的点图。 TCA以普吕克射线、高频成分和投影状态为条件，并在残差流中采用第二次评估。 RDGD 从 zBz_{B} 解码渲染深度和每个图元属性，光栅化器将其渲染到目标中。