自回归检索器：提高对通用多模态检索的项目反馈的查询理解

通用多模式检索通常对查询进行一次编码，并通过嵌入相似性对独立索引的项目进行排名。这种设计支持高效搜索，但即使检索到的项目可以帮助澄清信息需求，查询表示也保持不变。我们引入了自回归检索器（ARR），这是一种多模态检索模型，它可以学习选择信息丰富的项目并使用其内容来完善后续检索。 ARR 在检索项目和更新查询嵌入之间交替，然后使用最终嵌入对集合进行排名。有监督微调教会编码器通过逐步对比监督使用反馈。强化学习将反馈项目视为行动，并使用相关项目的最终倒数排名来优化其选择。查询端适配器支持针对固定项目索引的优化。 ARR 在域内和零样本基准测试中表现出强大的检索性能，平均优于比较基准。进一步的分析表明，推理时的反馈可以改善检索表现；使用反馈训练也能改善尚未观察任何项目时的初始查询嵌入。