SILICA：重新利用扩散先验进行联合玻璃分割和深度估计

标准深度传感器在透明表面上会系统性地失效，从而造成 3D 地图损坏和严重的导航危险。虽然专用硬件传感器可以检测玻璃，但它们缺乏模块化并且具有广泛的硬件依赖性。因此，基于学习的单目深度估计已成为一种引人注目的替代方案。然而，特定领域的玻璃感知单目深度估计器很难应对不熟悉的室内布局；由于现实世界中玻璃深度注释的严重缺乏，他们无法将零样本推广到新的设置。这促使我们探索文本到图像扩散模型的广泛先验是否可以实现透明表面的普遍感知。我们引入了 SILICA，这是一个利用这些先验来共同预测玻璃分割和玻璃感知深度的统一管道。这种相互信息交换建立了强大的空间层次结构，完全消除了配对现实世界玻璃深度注释的需要。随后，我们使用预测的分割掩模从标准传感器中显式过滤不正确的玻璃深度点，为下游 3D 映射和自主防撞恢复准确的公制玻璃深度。在我们新颖的 Mirage 18k 数据集的支持下，大量实验表明，SILICA 在不同的、看不见的环境中实现了卓越的零镜头传输，比最先进的模型高出近 20%，并为透明表面感知设定了新基准。