PanoSeg3R：利用自动数据管理管道对全景图像进行前馈 3D 语义分割

我们提出了 PanoSeg3R，一个用于 3D 全景语义分割的前馈框架。与针对透视输入设计的现有方法不同，PanoSeg3R 在一次前向传递中联合预测 3D 几何和多视图语义分割。我们的方法建立在支持全景图像的预训练重建主干基础上，通过基于查询的掩模解码器扩展了前馈 3D 重建。此外，我们引入了一种自动全景数据管理管道，该管道利用现成基础模型的互补优势来生成可靠的伪语义注释，从而大幅扩展训练数据并提高零样本泛化能力。 PanoSeg3R 在全景 3D 语义分割上实现了最先进的性能，在 ScanNet++ 上将 3D mIoU 提高了高达 16.02，而精心策划的训练数据在斯坦福2D3D 和 ToF-360 上进一步将零样本性能分别提高了 4.26 和 43.28 mIoU。网站：此 https URL