论文

ProCal:开放词汇对象检测的推理时间建议校准

ProCal: Inference-Time Proposal Calibration for Open-Vocabulary Object Detection

应用与实践视觉感知与空间理解

摘要

开放词汇对象检测旨在对训练期间看到的固定类别集之外的对象进行本地化和分类。最近的开放词汇目标检测方法通过利用冻结的 VLM 作为检测器主干来改进未见过的类别的定位和分类。然而,VLM 分类分数缺乏识别图像中对象的位置和比例。我们观察到预训练的 VLM 能够对前景和背景区域进行分类。根据这一观察,我们提出了一种简单的推理时间建议校准(ProCal),可以提高分类分数的定位质量。 ProCal 通过组合两个分数来计算先验提案:本地化感知前景分数和背景感知抑制分数。本地化感知前景分数捕获提案是否包含对象区域。背景感知抑制分数衡量提案与背景的相似程度。我们分析 ProCal 抑制了背景提案上的虚假小说激活,并始终将真实的小说提案排在背景和部分小说提案之上。应用于 CLIPSelf ViT-L/14 时,ProCal 将 OV-LVIS 上的 APr 提高了 +2.5。分析表明,提案级本地化感知重新排名可以减轻新对象的排名错误校准。