论文
迈向无视觉 CIR：用于零样本合成图像检索的属性增强评分和基于 LLM 的重新排序
Towards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrieval
摘要
最近的工作表明，“无视觉”方法（将图像表示为文本）对于标准图像检索任务来说是有效的。然而，由于文本描述中固有的信息丢失，目前尚不清楚这种范例是否可以有效处理更复杂的多模态任务，即组合图像检索（CIR）。在本文中，我们介绍了一种无视觉 CIR 框架，该框架通过两种关键技术解决了这一挑战：（1）属性增强混合评分，它补偿丢失的视觉细节通过显式属性匹配，以及（2）基于 LLM 的重新排名，验证了顶级候选者的语义一致性。在开放域 CIRR 数据集上的实验表明，我们的方法优于现有的零样本 CIR 方法（44.04% R@1，+8.79%）。在 FashionIQ 上，我们的结果强调了语义推理和细粒度视觉匹配之间的权衡。基于 LLM 的重新排名持续提高性能。