探索开放词汇对象检测的层次一致性和无偏对象性

摘要

传统的物体检测器通常在闭集假设下运行，将识别限制在训练期间看到的一组预定义的基类。开放词汇对象检测 (OVD) 通过利用视觉语言模型 (VLM) 为新颖的对象类别生成伪标签来解决此限制。然而，现有的 OVD 方法存在两个关键缺点：(1) 类标签分配不准确，因为 VLM 针对图像级预测而不是伪标记所需的区域级预测进行了优化；(2) 专门针对基础对象类进行训练的区域提议网络 (RPN) 的对象性分数不可靠。为了解决这些问题，我们提出了一种新颖的 OVD 伪标签框架。我们的方法引入了分层置信校准（HCC）技术，该技术通过评估分层语义级别（类、超类和子类）之间的一致性来确保可靠的类标签估计。我们还提出了 LoCLIP，这是 CLIP 的参数高效改编，它结合了对象标记来减轻 RPN 的基类偏差问题，并为新对象类提供可靠的对象估计。对标准 OVD 基准（包括 COCO 和 LVIS）的广泛实验表明，我们的方法明显树立了新的技术水平，验证了我们方法的有效性。项目网站：https://cvlab.yonsei.ac.kr/projects/HCC