电子商务的统一多任务相关性建模：比较 LLM 和交叉编码器的任务路由架构

当每个任务具有不同的数据量、不同的语义要求和潜在冲突的学习信号时，我们如何构建一个单一的相关性模型来处理电子商务中从查询产品匹配到产品类型相似性的六种不同的实体对关系类型？这个问题很重要，因为当前的行业实践依赖于每个任务的单独模型，从而阻碍了知识转移并产生不一致的相关信号。我们的工作是由以下见解驱动的：基于编码器和仅解码器的模型通过不同的机制对任务身份进行编码，因此任务路由架构的选择如何将任务身份传递到共享模型以不对称的方式影响这两个系列。作为我们的关键新颖性，我们结合了三个想法：（a）一个统一的多任务框架，在共享的三点相关性尺度下联合训练六个实体对任务，（b）跨LoRA适应的LLM和完全微调的交叉编码器对三种任务路由架构（文本前缀路由、多头分类和具有私有Transformer层的多头）进行系统比较，以及（c）利用私有层引起的多样性的多数投票集成路由。首先，我们证明 MHP Ensemble（具有私有层的多头）在 453K 测试示例上实现了 89.96% 的准确率，是所有配置中最高的。其次，我们表明，删除没有私有层的文本前缀会导致仅解码器 LLM 严重退化，而交叉编码器保持鲁棒性，这表明编码器解码器在任务身份编码中不对称。第三，我们表明，与单任务基线相比，多任务训练在低资源任务方面的改进高达 14%。