论文

UMER:通过配对感知判别推理统一嵌入与排序的通用多模态检索

UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval

上下文与知识检索增强

摘要

通用多模态检索旨在支持多样的指令感知检索任务,要求同时具备语料库规模的高效匹配和细粒度语义推理。近期基于MLLM的嵌入方法通常从隐藏状态导出表示,而思维链(CoT)推理正成为嵌入增强的有前景策略,它把中间语义证据编码进表示空间。然而,现有CoT方法通常对查询和候选各自孤立地进行逐项推理,无法提供显式证据来区分正样本与语义上易混淆的困难负样本。此外,对比嵌入捕捉全局相似度,但在需要答案验证、类别判断或细粒度推理的元任务上力不从心。本文提出UMER,一个面向通用多模态检索的统一多模态嵌入与排序框架。UMER用配对感知判别推理取代逐项反思,后者比较查询-候选对以识别与指令相关的匹配证据和差异证据。UMER在单一MLLM中联合学习用于高效全局匹配的对比嵌入和用于显式成对相关性判断的判别排序。一个互补的相互蒸馏策略进一步在嵌入与排序函数之间传递可靠的成对偏好。在MMEB-V2基准上,UMER在可比实验设置下取得最先进性能,同时支持预算可调的推理。

UMER:通过配对感知判别推理统一嵌入与排序的通用多模态检索:论文配图
图1:通用多模态检索中两个被忽视的问题。(a)逐条目的自反思CoT缺乏用于困难负样本判别的成对感知证据。(b)不同的元任务(meta-task)需要不同的能力,嵌入与排序提供互补的优势。