您的嵌入模型比您想象的更智能

多模态检索在很大程度上依赖于单向量 检索器，它将丰富的连续标记序列压缩为一个全局表示。虽然高效，但它们丢弃了对于密集检索任务至关重要的细粒度局部证据。引入多向量方法作为解决方案，但它们严格要求训练，并且许多方法忽略了全局汇总表示的必要性。为了解决这个问题，我们引入了 SMART，一个可以释放标准单向量模型的潜在多向量功能的框架。我们首先证明，池化嵌入的标准对比训练通过梯度流隐式地塑造了先前隐藏状态的检索几何结构。通过在推理过程中对这些冻结的隐藏状态应用直接后期交互，SMART 充当即插即用的升级，持续提高各种模式的性能，甚至进一步改进 MMEB-V2 上最先进的模型。我们还揭示了 SMART 的卓越性能，因为简单的轻量级 后训练 不仅节省了时间和计算量，而且还进一步改进了视觉文档检索，使单向量模型优于 SoTA 多向量模型。最终，SMART 为多模态检索提供了高效的推理增强和强大的微调技术。我们在 https://github.com/HanSolo9682/SMART 开源我们的代码和权重。