MMRM：电子商务搜索中产品排名的多重多模态表示模型

多模态信息对于电子商务搜索排名至关重要。现有的工作通常通过协作信号利用 微调 通用多模态 大语言模型 (MLLM) 的多模态数据，随后将派生的表示作为项目特征集成到排名模型中。尽管它们很有效，但这些方法面临两个主要限制：（1）它们依赖于 MLLM 微调 的单个协作信号，未能利用多任务排序所必需的异构信号； （2）他们将多模态表示视为排名模型中的常规项目特征，未充分利用其用户行为建模的潜在潜力。为了应对这些挑战，我们提出了多重多模态表示模型（MMRM），这是一个将 MLLM 与不同协作信号结合起来的统一框架。通过采用具有特定于任务的标记和投影层的共享主干，MMRM 同时从多个信号中学习，并在单个推理过程中生成全面的多重项目表示。此外，我们在排名模型中引入了多重用户表示策略，该策略利用多重项目表示通过基于搜索的行为序列建模来导出特定于任务的用户表示。大量的实验证明了 MMRM 卓越的效率和有效性。值得注意的是，MMRM已成功部署在京东电商搜索引擎中，为数百万日常用户带来显着的性能提升。