超越语义搜索：走向组合图像检索中的参考锚定

组合图像检索 (CIR) 通过实现结合参考图像和修改文本的灵活多模式查询，展示了巨大的潜力。然而，CIR 本质上优先考虑语义匹配，难以跨上下文可靠地检索用户指定的实例。在实践中，强调具体实例的保真度而不是广泛的语义通常更为重要。在这项工作中，我们提出了对象锚定合成图像检索（OACIR），这是一种新颖的细粒度检索任务，要求严格的实例级一致性。为了推进这项任务的研究，我们构建了 OACIRR（真实世界图像上的 OACIR），这是第一个大规模、多域基准，包含超过 160K 四元组和四个具有挑战性的候选图库，其中富含硬负实例干扰项。每个四元组都通过一个边界框来增强组合查询，该边界框在视觉上将对象锚定在参考图像中，从而提供了一种精确而灵活的方法来确保实例保留。为了解决 OACIR 任务，我们提出了 AdaFocal，这是一个具有上下文感知注意力调制器的框架，可以自适应地加强指定实例区域内的注意力，动态平衡锚定实例和更广泛的组合上下文之间的焦点。大量实验表明，AdaFocal 的性能大大优于现有的组合检索模型，特别是在保持实例级保真度方面，从而为这项具有挑战性的任务建立了稳健的基线，同时为更灵活的实例感知检索系统开辟了新的方向。