论文
引导:通过识别、检测和辨别进行细粒度开放词汇对象检测的粒度理解
GUIDED: Granular Understanding via Identification, Detection, and Discrimination for Fine-Grained Open-Vocabulary Object Detection
摘要
细粒度开放词汇对象检测(FG-OVD)旨在检测由属性丰富的文本描述的新对象类别。虽然现有的开放词汇检测器在基类别级别显示出良好的前景,但由于预训练视觉语言模型(VLM)嵌入中主题和属性的语义纠缠,它们在细粒度设置中表现不佳,导致嵌入空间中属性的过度表示、错误定位和语义漂移。我们提出了 GUIDED,一个专门设计用于解决细粒度提示中主题和属性之间的语义纠缠的分解框架。通过将对象定位和细粒度识别分离到不同的路径中,HUIDED 将每个子任务与最适合其各自角色的模块对齐。具体来说,给定一个细粒度的类名,我们首先使用语言模型来提取粗粒度的主题及其描述属性。然后检测器仅由主题嵌入引导,确保稳定的定位不受不相关或过度代表的属性的影响。为了有选择地保留有用的属性,我们引入了属性嵌入融合模块,该模块以基于注意力的方式将属性信息合并到检测查询中。这减少了过度代表性,同时保留了歧视性权力。最后,区域级属性辨别模块使用带有投影头的精炼视觉语言模型将每个检测到的区域与完整的细粒度类名称进行比较,以改进对齐。 FG-OVD 和 3F-OVD 基准的大量实验表明,GUIDED 实现了新的最先进的结果,展示了解开建模和模块化优化的好处。我们的代码将在 https://github.com/lijm48/GUIDED 发布。