PACT：保留源图证据的组合图像检索

组合图像检索（CIR）旨在检索满足用户指定修改的图像，同时保留参考图像中的相关视觉内容。为此目的收集目标图像成本高昂，因此催生了零样本 CIR 方法，而是使用目标描述文本作为监督。但是，目标描述文本可能会省略应保留的源详细信息。因此，我们提出“保存和组合训练”，它用源图像的视觉证据来补充目标描述文本监督。 PACT 从图像-文本-文本 (ITT) 三元组中学习，无需目标图像或图库更新，将组合查询与目标描述对齐，同时通过视觉监督保留源证据。我们进一步引入了 Chord 评分，它将目标相似性与冻结图像空间中的源相对方向一致性结合起来。四个 ZS-CIR 基准的结果表明，将目标描述监督与源图像证据相结合，可以在数据集、骨干规模和外部图库中实现强大的检索性能。该代码可在 https://github.com/sehyunkwon/PACT 上获取。