论文

超越思想链:重写为生成多模态嵌入的通用接口

Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings

上下文与知识检索增强

摘要

多模态 大语言模型 (MLLM) 已成为通用多模态嵌入的有前景的基础。最近的研究表明,推理驱动的生成多模态嵌入在一些嵌入任务上可以优于判别式嵌入。然而,思想链(CoT)推理往往会产生冗余的思维步骤,并在更广泛的检索场景中的总结答案中引入语义模糊性。为了解决这个限制,我们提出了重写驱动的多模态嵌入(RIME),这是一个统一的框架,通过检索友好的重写来联合优化生成和嵌入。同时,我们提出了跨模式对齐(CMA)来桥接生成和判别嵌入空间,从而实现灵活的相互检索以权衡效率和准确性。基于此,我们还引入了Refine强化学习(Refine-RL),它将判别性嵌入视为稳定的语义锚来指导重写优化。对 MMEB-V2、MRMR 和 UVRB 的大量实验表明,RIME 的性能大大优于先前的生成嵌入模型,同时显着缩短了思考时间。代码可在 https://github.com/PeppaWu/RIME 获取。