SearchAD：用于自动驾驶的大规模稀有图像检索数据集

摘要

从大规模数据集中检索罕见且安全关键的驾驶场景对于构建强大的自动驾驶 (AD) 系统至关重要。随着数据集规模不断增长，关键挑战从收集更多数据转变为有效识别最相关的样本。我们引入了 SearchAD，这是一个用于 AD 的大规模稀有图像检索数据集，包含从 11 个已建立的数据集提取的超过 423k 帧。 SearchAD 提供超过 513k 个边界框的高质量手动注释，涵盖 90 个稀有类别。它专门针对定位极其稀有类的大海捞针问题，其中一些类在整个数据集中出现的次数少于 50 次。与专注于实例级检索的现有基准不同，SearchAD 强调具有明确定义的数据分割的语义图像检索，支持文本到图像和图像到图像检索、少样本学习以及多模态检索模型的微调。综合评估表明，基于文本的方法优于基于图像的方法，因为其固有的语义基础更强。虽然直接将空间视觉特征与语言对齐的模型实现了最佳的零样本结果，并且我们的微调基线显着提高了性能，但绝对检索能力仍然不能令人满意。通过公共基准服务器上的测试集，SearchAD 建立了第一个大规模数据集，用于 AD 中检索驱动的数据管理和长尾感知研究：https://iis-esslingen.github.io/searchad/