PePESeg3D：感知先验增强了 3D 高斯分布的多尺度分割

3D 高斯分布 (3DGS) 的最新进展已将其功能扩展到多尺度分割。现有的方法使用高斯基元重建场景并分别学习多尺度分割特征，这使得几何结构不知道语义结构，并且特征学习依赖于不完整的掩模监督。为了解决这些限制，我们提出了 PePESeg3D，这是一种新颖的框架，它将感知先验注入到多尺度 3D 高斯分割管道中。为了充分利用感知先验，我们不仅将它们集成到对比特征学习中，而且还集成到上游几何重建中。具体来说，PePE 重建结合了单目深度和掩模约束，以确保语义上连贯的对象结构。建立在这种对齐的几何结构的基础上，PePE 对比学习利用密集的深度颜色线索和视图一致的质心监督来补偿从 2D 基础模型获得的多尺度掩模的不完整性。 SPIn-NeRF、LERF-Mask 和 NVOS 基准测试的大量实验表明，PePESeg3D 在多尺度分割和场景重建方面均实现了最先进的性能，凸显了将感知先验集成到几何优化和特征学习中以实现准确的多尺度 3D 分割的重要性。我们的代码可以在这个 https URL 上找到。