具有双角色标识符的生成通用多模态检索

通过训练生成器直接生成相关项目的标识符，生成信息检索 (GIR) 已成为传统索引检索然后排名检索管道的引人注目的替代方案。尽管前景光明，但仍然存在一些开放的挑战。首先，受约束的从左到右解码容易受到前缀级错误和局部最优的影响。其次，大多数先前的 GIR 研究仍然基本上是单模态的，跨文本、图像和混合图像文本项目的指令感知检索尚未得到充分探索。第三，虽然基于离散标识符的GIR具有更高的效率，但其检索精度仍然落后于尖端的基于密集向量的检索方法。受这些挑战的推动，我们提出了 DrIG，一种新颖的通用多模态检索生成框架，具有双角色标识符，支持跨多种模态和领域的多种检索任务。每个候选者都被分配一个单独的残差量化标识符，该标识符充当两个互补的角色。在其顺序角色中，标识符被自回归解码，其中第一个标记显式地建模模态，其余标记逐渐捕获更精细的语义。在其基于集合的角色中，相同的标记被重新解释为无序集合，以提供与前缀无关的相关性先验，从而指导约束波束搜索并减轻局部最优错误。对 M-BEIR 基准和文本到图像评估数据集的大量实验表明：（1）DrIG 在不同任务中始终优于最先进的生成多模态基线，而混合重排序相对于强密集 检索器 实现了有利的效率-效果权衡。 (2)消融和缩放分析揭示了基础LMM、波束尺寸、重排深度和融合策略如何影响检索性能，为系统设计提供实用指导。