论文

检索前先思考:经策略规划与自批评的鲁棒零样本组合图像检索

Thinking Before Retrieving: Robust Zero-Shot Composed Image Retrieval via Strategic Planning and Self-Criticism

模型推理推理验证与自校正

摘要

组合图像检索需要通过将参考图像与文本修改指令集成来从图库中识别目标图像。在免训练的零样本设置中,该任务依赖于在推理时的冻结视觉语言嵌入空间中构建面向检索的文本查询。现有方法主要依赖于单遍生成策略,将参考上下文和修改文本融合成统一的描述。这种策略使得在生成过程中检测或纠正语义扭曲和遗漏变得​​困难。因此,参考属性的保存和文本要求的整合相互干扰,从而降低了检索精度。为了应对这些挑战,我们引入了 PEC-CIR,这是一种免训练框架,它将查询构造构建为多阶段推理管道。该框架通过 Planner-Executor-Critic 架构运行,其中 Planner 提取显式约束,Executor 生成多个候选目标描述,Critic 根据约束合规性评估这些候选目标。通过将查询构造重新构建为分阶段推理过程而不是单遍输出,PEC-CIR 通过在检索前显式评估候选查询来减少生成错误的传播,从而提高检索稳定性。

检索前先思考:经策略规划与自批评的鲁棒零样本组合图像检索:论文配图
图 1:典型的免训练 CIR 方法与建议的 PEC-CIR 之间的比较。