MOON3.0：用于电子商务产品理解的推理感知多模态表示学习

随着电子商务的快速发展，探索通用表示而不是特定任务的表示越来越引起人们的关注。尽管最近的多模态 大语言模型 (MLLM) 推动了产品理解方面的重大进展，但它们通常用作特征提取器，将产品信息隐式编码到全局嵌入中，从而限制了它们捕获细粒度属性的能力。因此，我们认为利用 MLLM 的推理能力来显式建模细粒度的产品属性具有巨大的潜力。然而，由于几个关键挑战，实现这一目标仍然很重要：（i）长上下文推理往往会稀释模型对原始输入中显着信息的注意力； （ii）监督微调（SFT）主要鼓励严格模仿，限制有效推理策略的探索； (iii) 细粒度细节在前向传播过程中逐渐衰减。为了解决这些问题，我们提出了 MOON3.0，这是第一个用于产品表示学习的基于推理感知的 MLLM 模型。我们的方法（1）采用多头模态融合模块来自适应地集成原始信号； （2）结合对比和强化学习联合框架，自主探索更有效的推理策略； (3)引入细粒度残差增强模块，以逐步保留整个网络的局部细节。此外，我们还发布了大规模多式联运电子商务基准MBE3.0。通过实验，我们的模型在基准数据集和公共数据集上的各种下游任务中展示了最先进的零样本性能。