PLUME：基于潜在推理的通用多模态嵌入

通用多模态嵌入 (UME) 使用单个模型将异构输入映射到共享检索空间。最近的方法通过在提取嵌入之前生成显式的思想链 (CoT) 基本原理来改进 UME，从而使多模式 大语言模型 能够更好地推断复杂的查询意图。然而，显式 CoT 会产生大量推理开销，并且可以将丰富的多模态证据压缩到狭窄的文本瓶颈中。我们提出了 PLUME，这是一种潜在推理框架，通过用连续潜在状态的短自回归展开取代语言化的 CoT 来推进 UME。为了支持不同的多模态查询，PLUME 进一步引入了语义锚引导的转换适配器，该适配器可在相同的固定计算预算下沿着不同的推理轨迹引导潜在状态展开。为了稳定训练，PLUME 采用渐进式显式到隐式课程，仅使用语言推理作为临时训练支架，并逐渐将这种行为转移到隐藏状态计算中，消除推理时的显式 CoT。在 78 任务 MMEB-v2 基准测试中，PLUME 的性能优于强大的显式 CoT UME 基线，同时将推理从数百个生成的标记减少到不到 10 个潜在步骤，推理速度提高了 30 倍以上。 PLUME 特别适合相关证据密集、结构复杂且难以通过语言化的中间原理进行组织的检索环境，例如视频和视觉文档检索。这些结果表明，结构化潜在计算可以保留中间推理的好处，而无需显式原理生成的开销，为实际检索系统提供更强大、更有效的范例。