论文
使用现成生成模型的物体检测器的零样本量化
Zero-Shot Quantization for Object Detectors using Off-the-Shelf Generative Models
摘要
随着越来越多的物体检测 (OD) 模型部署在边缘设备上，OD 零样本量化 (ZSQ-OD) 旨在在禁止访问原始训练数据时量化这些模型。现有的 OD 零样本量化感知训练 (QAT) 研究通过噪声优化来合成训练集。然而，这种方法很难维持低位区域的性能。在本文中，我们介绍了 GoodQ（用于对象检测器量化的生成现成模型），这是一种利用现成生成模型构建训练集的 QAT 管道。我们首先确定了在 ZSQ-OD 任务中引入生成模型时出现的三个挑战：1）每个图像都包含具有多个实例的密集信息，2）原始数据集中的类分布不平衡，3）分配给生成图像的伪标签可能在 QAT 期间充当噪声信号。 GoodQ 通过 1) 引入信息密集提示策略来生成多实例图像，2) 应用内在分布感知选择来匹配预训练的类别分布，3) 采用教师指导的自适应降噪来减轻 QAT 过程中产生的噪声，从而解决了这些挑战。我们的框架在低位 ZSQ (W4A4) 中实现了最先进的性能，并将量化扩展到极端位宽 (W3A3)。此外，我们进行了广泛的分析，以揭示影响 GoodQ 功效的潜在因素。