ReconSplat：超越观察视图的可推广 3D 场景重建

我们引入了 ReconSplat，这是一种用于 3D 场景重建的前馈模型，旨在解决未观察区域的合理视图生成与几何一致性之间长期存在的权衡问题，提供几何对齐的新颖视图和清晰的深度估计。我们的方法以 3D 高斯泼溅 (3DGS) 为基础，作为中间可微分场景表示，并将其与经过训练的多视图潜在扩散模型 (MV-LDM) 集成，同时充当外观和场景几何的细化器和修复器。我们通过使用外观和几何的变分 3D 潜在特征引导扩散过程来强制几何一致性，这些特征由前馈 3DGS 表示进行编码并光栅化为 2D 潜在空间。 ReconSplat 在现实世界基准、RealEstate10K 和 DL3DV-10K 上生成逼真的新颖视图和准确的深度图，在具有挑战性的外推设置中优于现有方法。值得注意的是，ReconSplat 允许结合连贯且精确的场景几何形状来推断看不见的和具有挑战性的视点。