论文

GiPL:用于跨域少样本目标检测的生成增强迭代伪标记

GiPL: Generative augmented iterative Pseudo-Labeling for Cross-Domain Few-Shot Object Detection

模型训练合成数据

摘要

视觉语言基础模型已经显示出有希望的跨域少样本目标检测(CD-FSOD)的零样本泛化。然而,他们在 微调 中面临两个关键挑战:由于稀疏的单实例注释导致支持集利用率不足,以及在极其有限的目标域样本下严重的过拟合。为了解决这些问题,本文提出了 GiPL,一种高效的两分支训练框架。在第一个分支中,我们设计了一种迭代伪标签自训练范例,它对支持集执行零样本推理以生成可靠的伪注释,将它们与 真值 标签融合,并迭代优化模型以充分利用支持集数据。在第二个分支中,我们引入使用大型视觉语言模型的生成数据增强管道,该管道合成域对齐的多对象注释图像以丰富训练样本并抑制过度拟合。在 1/5/10-shot 设置下对三个具有挑战性的 CD-FSOD 数据集(RUOD、CARPK、CarDD)进行的大量实验表明,GiPL 始终优于最先进的方法,并具有显着的性能提升。代码可在 \href{https://github.com/z-yaz/CDiscover}{CDiscover} 获取。