论文
UMER:通过配对感知判别推理统一嵌入与排序的通用多模态检索
UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval
摘要
通用多模态检索旨在支持多样的指令感知检索任务,要求同时具备语料库规模的高效匹配和细粒度语义推理。近期基于MLLM的嵌入方法通常从隐藏状态导出表示,而思维链(CoT)推理正成为嵌入增强的有前景策略,它把中间语义证据编码进表示空间。然而,现有CoT方法通常对查询和候选各自孤立地进行逐项推理,无法提供显式证据来区分正样本与语义上易混淆的困难负样本。此外,对比嵌入捕捉全局相似度,但在需要答案验证、类别判断或细粒度推理的元任务上力不从心。本文提出UMER,一个面向通用多模态检索的统一多模态嵌入与排序框架。UMER用配对感知判别推理取代逐项反思,后者比较查询-候选对以识别与指令相关的匹配证据和差异证据。UMER在单一MLLM中联合学习用于高效全局匹配的对比嵌入和用于显式成对相关性判断的判别排序。一个互补的相互蒸馏策略进一步在嵌入与排序函数之间传递可靠的成对偏好。在MMEB-V2基准上,UMER在可比实验设置下取得最先进性能,同时支持预算可调的推理。
