FlowCIR：通过流匹配进行语义传输，用于零样本合成图像检索

零样本合成图像检索（ZS-CIR）旨在通过使用自然语言指令编辑参考图像来检索目标图像，而不依赖于特定领域的带注释的三元组。大多数现有的 ZS-CIR 方法依靠文本反转将参考图像转换为伪文本标记，然后通过文本空间中的简单串联将它们与指令组合，这对于细粒度语义来说可能是有损且脆弱的。在这项工作中，我们提出了一种新的范例，即 FlowCIR，它将 ZS-CIR 作为参考嵌入和目标嵌入之间的条件语义传输。利用 \emph{条件流匹配}，我们的模型学习了一个轻量级传输字段，该传输字段将指令表示映射到以参考图像为条件的目标对齐查询嵌入。由于 FlowCIR 在预先提取的 VLM 嵌入上运行，并且仅训练一个小型传输模块而不更新图像或文本编码器，因此与之前基于文本反转的方法相比，它提供了一种计算高效的训练协议。由此产生的框架训练效率高，与之前基于文本反转的方法相比，所需的训练资源大约减少 10 倍。我们进一步确定否定和删除是基于 VLM 的组合的主要失败模式。为了解决这个问题，我们提出了一种仅推理的多负引导策略，该策略引导包含否定的相对指令远离其否定语义，减轻 VLM 的有限否定处理并提高否定重查询的鲁棒性。对标准 CIR 基准的大量实验表明，与最近的 ZS-CIR 方法相比，FlowCIR 实现了强大且具有竞争力的性能。