STiTch：无需训练 零样本合成图像检索的语义转换和传输协作

无需训练 零样本组合图像检索模型由于其在看不见的多模态检索中的通用性和灵活性，最近获得了越来越多的研究兴趣。最近基于 LLM 的进展侧重于通过探索 LLM 背后的组合能力来生成预期的目标标题。虽然效率很高，但我们发现：1）由于输入图像和文本修改之间的语义差距，生成的标题往往会引入参考图像中意想不到的特征，其中图像包含比文本更多的细节； 2）检索阶段的点对点对齐未能捕获不同的构图。为了应对这些挑战，我们为 无需训练 零样本 CIR 任务引入了一种新颖的语义转换和传输协作框架。具体来说，给定由 LLM 推断出的组合标题，我们的目标是通过嵌入空间中的转换向量对其进行细化，并使其更接近目标图像。将LLM与用户指令相结合，精炼的标题更加集中于核心修改意图，从而过滤掉不必要的噪音。此外，为了探索检索阶段的多样化对齐，我们将标题和图像建模为离散分布，并将检索任务重新表述为集合到集合的对齐任务。最后，开发了双向传输距离来考虑跨模式的细粒度对齐并计算检索分数。大量实验表明，我们的方法对于许多 CIR 任务来说是通用的、有效的且有益的。