论文

结合基础模型置信度和单目深度进行免训练的分布外分割

Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation

应用与实践视觉感知与空间理解

摘要

在开放世界场景中运行的自动驾驶车辆不可避免地会遇到以前未知的物体,例如外来动物或散装货物。因此,这些分布外 (OOD) 对象的可靠检测和分割对于安全了解环境和决策至关重要。大多数现有方法需要访问 OOD 训练样本、重新训练分割主干或专用辅助架构,限制了它们的实际适用性。我们提出了一种免训练方法,直接从基础分割模型的置信度预测中得出密集的 OOD 分数,无需任何特定于任务的微调或访问异常数据。为了提高 OOD 分割的鲁棒性,来自单目深度估计的几何信息被纳入决策过程,为基于不确定性的预测提供补充线索。我们在 SegmentMeIfYouCan 基准上评估了所提出的方法,并另外评估了其在视频序列中 OOD 跟踪上的性能,反映了现实世界感知系统的时间性质。该方法在以道路为中心的基准测试中表现强劲。