论文

强大的洋葱:在噪音下剥开词汇物体探测器

Robust Onion: Peeling Open Vocab Object Detectors Under Noise

模型评测鲁棒性、公平性与可信度评测

摘要

由于开放词汇目标检测器 (OV-OD) 架构的复杂性,人们对现实世界噪声的影响仍知之甚少。我们提出了我们的综合分析 Robust Onion,这是一项实证研究,使用受控的合成视觉退化来逐层剥离 OV-OD,揭示稳健性如何、为何以及在何处退化,系统地分析特征崩溃。我们的研究结果表明,具有相似视觉主干的模型表现出相当的鲁棒性,这是由相似层的相似特征崩溃驱动的,而预训练策略、架构细微差别和图像描述监督等因素贡献甚微。鲁棒性主要由图像域而不是注释决定,这解释了对 COCO 和 LVIS 的类似鲁棒性影响,以及为什么像 ODinW-13 这样的数据集会由于大型、孤立的对象而给人一种鲁棒性膨胀的印象。最后,我们通过轻量级即插即用 NN 和 TK0 方法提高现实世界 BDD100K、WiderFace 和 VisDRONE 的稳健性,验证了我们的见解,使用的可训练参数比端到端训练少 96 倍。我们还解释了先前作品的稳健性观察。