SAM3-O2D2：通过 SAM3 图像模型的对象类提示进行零样本对象分布外检测

物体探测器在医学成像、监控和自动驾驶等各个领域都表现出了卓越的性能。然而，当他们在现实部署中遇到看不见的物体时，他们很容易过度自信，从而导致潜在的安全问题。为了解决这个问题，检测分布外 (OOD) 对象对于可靠的对象检测至关重要。现代方法利用 CLIP 等基础模型的广泛语义知识进行事后少样本和零样本 OOD 检测。然而，这些方法通常在特征空间中执行 OOD 评估，这可能对对象检测器定位误差和对象外观的变化敏感。此外，当前最先进的（SOTA）零样本方法在推理中执行计算成本高昂的扩散。在这项工作中，对于我们提出的零样本物体 OOD 检测方法 SAM3-O2D2，我们以有效的方式采用 SAM3 图像基础模型。具体来说，我们仅提示 SAM3 对象检测器的预测类别，并比较对象检测器和 SAM3 的预测。如果 SAM3 也在相应位置检测到对象，则对象处于分布中 (ID)。如果 SAM3 没有检测到提示的对象，则表明检测器的预测与图像内容不匹配，表明该对象是 OOD。实验结果表明，我们的方法显着优于迄今为止的零样本 SOTA 方法。具体来说，我们在 ID 数据集 Pascal-VOC 和 BDD100K 以及 OOD 数据集 MS-COCO 和 OpenImages 上实现了新的 SOTA AuROC 和 FPR95 指标。