HMGCLIP：面向电商表示学习的异构多粒度对比学习

尽管近期的多模态大语言模型（MLLM）已提升了通用商品理解能力，但它们将商品信息隐式编码为全局嵌入，从而限制了捕获细粒度属性的能力。这一局限阻碍了需要精确属性判别的任务的表现，例如区分视觉相似商品之间细微的材质差异。为应对这一挑战，我们提出HMGCLIP，一个统一的多模态嵌入框架。通过构建异构超图，我们利用超图拓扑挖掘结构感知的困难负样本，并在关系与超边两个层面实现对多粒度语义的对齐。这一设计支持一种双粒度推理机制，可为细粒度与粗粒度下游任务动态融合属性证据。此外，我们发布了一个全面的细粒度电商数据集，以便未来开展基准测试。在该新数据集与公开的MAVE基准上的大量实验表明，HMGCLIP优于强大的多模态编码器、MLLM与电商基线方法，验证了HMGCLIP的优越性。