ExDet：具有跨模态外推和校正的开放域开放词汇检测

开放域开放词汇检测（ODOVD）要求检测器泛化到新类别和未见过的领域，这使得它比开放词汇检测更具挑战性。现有方法通常从头开始训练开放词汇检测器和领域泛化模块，导致训练成本很高。我们提出了 ExDet，这是一种用于 ODOVD 的轻量级类别域协作泛化框架，可增强现有检测器的跨类别和跨域泛化能力。 ExDet 由文本引导外推 (TGE)、轻量级探测器兼容整流 (DCR) 模块和 ExRPN 组成。具体来说，TGE 利用视觉语言模型 (VLM) 的 DeltaSpace 属性从文本推断类别和领域感知代理视觉原型。 DCR 以检测器 无需训练 和无真实数据的方式从 TGE 生成的原型中学习，并在推理时插入到分类头之后，以将表示纠正为检测器兼容的源域视觉分布，从而增强对来自新类别和未见域的目标的分类。 ExRPN 通过将语义相似性与 RPN 置信度相结合来重新校准提案分数，提高对新颖和域转移对象的召回率，同时为后续分类和 DCR 提供更好的支持。 ExDet 在 OD-LVIS、OV-LVIS、Objects365 和 MSOSB 上实现了 SOTA 性能。