Pano3D：统一 3D 重建和全景分割

3D 前馈重建神经网络的最新进展在无需任何相机参数的图像密集重建方面取得了显着的成功。然而，为这些模型配备强大的语义理解仍然是一个悬而未决的问题。在这里，我们介绍一种在统一框架中执行 3D 重建和 3D 全景分割的方法。我们以现有的 3D 重建模型为基础，并使用基于集合的掩模解码器对其进行增强。该方法是通过几何和语义损失联合训练的，这被证明是互惠互利的。更准确地说，特征是根据几何信息初始化的，然后进行微调以联合捕获几何和语义。我们通过成功地将我们的框架应用于在线和全注意力重建主干来展示我们方法的通用性。我们的方法在 ScanNet、ScanNet200 和 ScanNet++ 数据集的 3D 全景分割中实现了最先进的性能。消融研究表明，这种统一模型的联合训练为 3D 前馈重建神经网络配备了全景分割功能，并产生了互利的改进。