组合图像检索的健全性检查

组合图像检索 (CIR) 旨在基于由参考图像和指定所需修改的修改描述组成的查询来检索目标图像。尽管 CIR 模型发展迅速，但它们的性能并没有被现有基准很好地表征，现有基准固有地包含降低评估的不确定查询（即多个候选图像，而不仅仅是目标图像，满足查询标准），并且没有考虑它们在多轮系统背景下的有效性。受此启发，我们考虑从两个方面改进评估程序：1）我们引入FISD，一种全信息语义多样化基准，它采用生成模型来精确控制参考目标图像对的变量，从而能够在六个维度上更准确地评估CIR方法，而不会产生查询歧义； 2）我们提出了一种自动多轮代理评估框架，以探索现有模型在交互场景中的潜力。通过观察模型如何在连续几轮查询中调整和完善其选择，该框架可以对其在实际应用中的功效进行更现实的评估。大量的实验和比较证明了我们对典型 CIR 方法的新颖评估的价值。