论文

拍立淘-MMSearch:构建原生电商多模态搜索基座

Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

摘要

电商的演进从根本上改变了用户搜索商品的方式:从简单的文本关键词查询,转向无缝结合商品图片、自然语言描述与混合意图指令的复杂多模态交互。然而现有方法面临关键两难:为文本检索、视觉搜索与语音识别独立部署的单模态专家模型彼此孤立、无法处理跨模态查询;通用视觉—语言模型则缺少细粒度商品理解、用户行为建模与商业意图推理所需的领域知识。本文提出Pailitao-MMSearch(拍立淘-MMSearch),一个为弥合该差距而设计的原生电商多模态搜索基座模型。方法引入三项关键创新:(1)HybSID(混合语义ID);(2)两阶段持续预训练策略;(3)混合推理后训练管线。Pailitao-MMSearch基于Qwen构建、部署在淘宝拍立淘多模态搜索平台,在线A/B测试取得显著提升:相较传统多模态搜索管线,GMV最高提升13.61%、成交量提升8.21%,验证了原生电商多模态搜索大模型的有效性。

拍立淘-MMSearch:构建原生电商多模态搜索基座:论文配图
图 5:我们基于淘宝应用程序的“陪我光”中的 Pailitao-MMSearch 生成检索和排名管道的真实示例。