论文
VFM$^{4}$SDG:揭示 VFM 用于单域广义目标检测的强大功能
VFM$^{4}$SDG: Unveiling the Power of VFMs for Single-Domain Generalized Object Detection
摘要
现实世界的天气、照明和成像变化通常会引起严重的域偏移,从而降低看不见环境中的单源探测器的性能。现有的单域广义目标检测(SDGOD)方法主要依赖于数据增强或域不变学习,而很大程度上忽视了域转移如何破坏检测器预测的稳定性。通过分析实验,我们发现性能下降主要是由漏检增加引起的。进一步分析表明,这种现象源于 DETR 型检测器中跨域稳定性的降低:域转移破坏了编码器端的对象背景和实例间关系,并进一步削弱了解码器查询和真实对象之间的语义空间绑定。受此启发,我们发现视觉基础模型(VFM)在严重变化下仍然保持稳定的关系结构和对象响应,使它们适合跨域稳定性先验来补偿探测器的退化。为此,我们提出了 VFM$^{4}$SDG,一种 SDGOD 的双先验学习框架,它将冻结的 VFM 引入编码器表示学习和解码器查询建模中。具体来说,我们提出跨域稳定关系先验 蒸馏 将稳定的对象背景和实例间关系从 VFM 提取到编码器中,补偿关系退化。同时,我们提出了基于语义上下文先验的查询增强,在查询进入解码器层之前将类别语义原型和全局对象上下文注入到查询中,从而增强语义空间查询对象绑定的稳定性。大量实验表明,VFM$^{4}$SDG 在标准 SDGOD 基准和两种主流的基于 DETR 的检测框架上显着优于现有的先进方法,证明了其有效性、鲁棒性和通用性。