LoCoSplat：具有最少 3D 推理的实时前馈 3D 高斯分布

前馈 3D 高斯分布 (3DGS) 通过大量学习的 3D 网络越来越多地聚合多视图证据。我们提出 LoCoSplat（局部上下文分布），其动机是观察到高斯是局部基元：一旦预测了深度，3D 阶段必须添加的内容（缩放、旋转、不透明度）取决于每个锚点周围的点云，并且该邻域的固定局部平均值足以提供它，不需要重型网络。 LoCoSplat 正是实现了这个平均值：它将点特征的 16 维线性投影投射到精细和粗糙的网格中，并使用 0.14M-参数逐点 MLP 在每个锚点处读取两者；由于没有学习的 3D 网络，也没有动态稀疏计算，它的整个编码器作为一个 fp16 CUDA 图运行。在 RealEstate10K 上，LoCoSplat 在 6、12 和 24 个视图下的 PSNR、SSIM 和 LPIPS 方面优于所有先前的前馈方法，并且随着视图的致密化，其裕度会扩大（在 24 个视图下，比 VolSplat（现有的体素对齐技术水平，PSNR 多出 +3.3 PSNR），并且在 ScanNet 上零样本传输到 ACID 和微调的情况下进一步增长。它在一个 NVIDIA RTX PRO 6000 GPU 上在 33 毫秒内重建了 6 视图场景，这是七种前馈方法中最快的，并且 $4.2\times$ 比之前的最先进技术更快，训练 $2.7\times$ 更快（24 视图时的 $5.9\times$），并使用 $6.7\times$ 更少的推理记忆。