论文

检索、匹配、升级:用VLM蒸馏交叉编码器与Agentic VLM实现准确且可扩展的商品链接

Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs

摘要

商品链接是将商家商品记录映射到规范目录商品的实体解析任务,它将碎片化的商品信息整合起来,使下游搜索、推荐和广告对每个商品只看到一个干净的条目。在市场平台规模上,数十亿条嘈杂的跨类目记录要对着数千万规范商品进行解析,用单一模型对每个候选打分要么对困难案例太弱、要么对简单案例太贵。我们提出一个生产级先检索后匹配的级联,按难度比例分配计算:检索召回可能的匹配,轻量文本交叉编码器自动解决高置信度的大多数,agentic多模态视觉语言模型通过检查商品图片并发起网络搜索以获取两条记录中都不存在的证据,来解决剩余的模糊案例。交叉编码器从数百万双VLM共识标签蒸馏而来,将人工标注从训练集中淘汰,并被校准为以98%精确率标准自动接受链接,该标准经更小规模的操作员认证审计验证。该智能体是一个自托管的开权重模型,无需微调,以约为七分之一的每对成本达到闭源前沿VLM的精确率,召回率低四点(88%对92%)。每对成本从便宜的交叉编码器到前沿VLM相差近五个数量级,因此只将困难尾部升级给智能体,就将端到端链接覆盖率从便宜阶段的68%提升到77%。