论文

代码:开放世界物体检测的跨模态校准和动态抑制

CODE: Cross-Modal Calibration and Dynamic Suppression for Open World Object Detection

模型推理推理验证与自校正

摘要

基于多模态基础模型构建的开放世界对象检测 (OWOD) 通常会受到单向文本到视觉匹配引起的语义模糊的影响,而严格的异常值惩罚可能会过度抑制已知类决策边界附近的未知对象。我们提出了 CODE(跨模态校准和动态抑制),这是一个具有三个互补组件的统一推理时间框架。跨模态联合置信度校准注入全局视觉原型来校准文本驱动的已知类预测。不确定性引导的通用对象增强测量局部视觉反应的分类犹豫,以增强潜在的未知对象。通过置信裕度进行动态离群值抑制,用裕度感知调整代替严格抑制,保留模糊的分布外实例。真实世界检测基准的实验表明,借助 OWL-ViT L/14 主干,CODE 在任务 1 中实现了 21.7 U-mAP 和 40.8 K-mAP,分别超越了之前的最佳技术水平 2.6 和 2.3 个百分点。