基于 3D 视觉几何的玻璃表面检测

玻璃表面检测（GSD）对于场景理解和重建至关重要，但由于玻璃表面的透明度和反射率，玻璃表面检测仍然具有挑战性。现有的 GSD 方法通常依赖于 2D 外观线索，这在几何模糊的场景中可能会失败。在本文中，我们提出了一种范式转变：将 GSD 植根于 3D 视觉几何中，以明确地模拟玻璃表面的物理存在。我们的方法首先从基于视觉几何的 Transformer (VGGT) 中提取丰富的 3D 先验，并生成玻璃感知的 3D 表示。然后，它利用新型玻璃检测头进行多任务学习，该头由两个核心模块组成：频率自注意力模块（FSAM），用于识别玻璃特定的光谱特征以进行玻璃表面定位；几何三维几何定位块（GeGB），用于选择性地将 2D 特征三维几何定位到 3D 几何形状中以进行玻璃表面分割。大量实验表明，我们的方法在七个标准 GSD 基准测试中实现了最先进的性能，可以很好地推广到视频/多模态数据，并显着改善玻璃场景的重建。代码可在 https://github.com/YT3DVision/VGGT_GLASS 中找到。