前所未见：使用一致的视频源数据集对真正的零样本合成图像检索进行基准测试

零样本合成图像检索（ZS-CIR）旨在基于由参考图像和相关图像描述组成的查询来检索目标图像，而无需训练样本。由于图像源噪声，现有的 ZS-CIR 数据集通常会遭受参考图像和目标图像之间完全不相关的问题，并且由于它们使用 CLIP 等模型已接受过训练的公共图像数据集，因此无法实现真正​​的零样本场景。为了应对这些挑战，我们推出了 ZeroSight，这是 ZS-CIR 的一种新颖基准。它包括一个具有来自视频的一致参考目标对的数据集、一个数据构建管道以及考虑多个正负目标图像排名的评估方法。我们通过从单个视频中提取帧并使用 LLM 辅助方法生成相关字幕来确保视觉和语义上一致的参考目标对。为了确保真正的零镜头场景，我们使用 2022 年 3 月 31 日之后发布的视频数据，确保其不包含在 CLIP 的 预训练 数据中。此外，我们提出了一种 无需训练 MLLM 驱动的方法 SC4CIR（CIR 的对称一致性），它可以通过 3 个对称一致性检查有效地识别硬负目标。该方法即插即用，可与各种CIR方法无缝集成，显着提高性能。我们对 27 种方法的实验结果表明，当前的 ZS-CIR 数据集和评估指标导致检索性能膨胀，夸大了 CIR 方法的能力。我们的基准测试和模型可以通过 https://github.com/sotayang/ZeroSight 访问。