MMEmb-R1：具有配对感知选择和自适应控制的推理增强多模态嵌入

MLLM 已成功应用于多模态嵌入任务，但其生成推理能力仍未得到充分利用。将思想链推理直接纳入嵌入学习会带来两个基本挑战。首先，实例级推理和成对对比监督之间的结构失调可能会导致捷径行为，即模型仅学习推理的表面格式。其次，推理并不普遍有利于嵌入任务。对所有输入强制推理可能会引入不必要的计算和延迟，甚至可能会掩盖简单情况下的显着语义信号。为了解决这些问题，我们提出了 MMEmb-R1，一种基于自适应推理的多模态嵌入框架。我们将推理表述为潜在变量，并引入配对感知推理选择，该选择采用反事实干预来识别有利于查询目标对齐的推理路径。此外，我们采用强化学习，仅在必要时有选择地调用推理。 MMEB-V2 基准测试表明，我们的模型仅用 4B 个参数即可获得 71.2 的分数，建立了新的最先进水平，同时显着降低了推理开销和推理延迟。