论文
DisDop:带有域先验的 蒸馏,用于开放词汇空中物体检测
DisDop: Distillation with Domain Priors for Open-Vocabulary Aerial Object Detection
摘要
近年来,随着无人机的广泛应用,航空图像的目标检测越来越受到关注,特别是不限于预定义类别的开放词汇航空检测。由于无人机视点图像的稀缺性及其与自然图像的显着差异,直接应用针对自然场景设计的普通开放词汇检测方法很难获得令人满意的结果。一些研究提出通过使用轻量级网络或生成伪标签来转移预训练模型中的知识,但它们倾向于依赖于自然图像训练的模型,忽略了专门为遥感和航空图像定制的基础模型的潜力。为了解决这个限制,我们提出了 DisDop,一个统一的框架,可以系统地将遥感基础模型(例如 RemoteCLIP 和 DINOv3)中的多级域先验提取到轻量级检测器中。具体来说,我们首先通过教师融合策略提取视觉先验,该策略将 RemoteCLIP 的跨模态对齐能力与 DINOv3 的细粒度局部特征提取能力相结合,将它们的互补优势转移到检测器的主干。其次,我们通过显式建模类别间语义关系来提炼嵌入 RemoteCLIP 文本编码器中的文本先验,同时结合全局上下文先验来增强小对象的局部特征表示。通过这个多层次的先验 蒸馏 框架,我们的 DisDop 在开放词汇航空检测基准上实现了新的最先进的性能。广泛的消融分析也证明了我们提出的模块的合理性和有效性。