CHARM：面向零样本迁移的层次化上下文建模多模态图基础模型

图基础模型（GFM）已成为在图领域与任务之间迁移知识的一个有前景的范式。现实世界的图将节点与文本、图像及其他模态相关联，使多模态图成为表示复杂实体与关系的关键。此外，为每个新图领域收集标签并适配模型成本高昂且常常不可行，这促使了零样本迁移的研究。遗憾的是，多模态图上的零样本迁移仍未被充分探索。现有基于GNN的图基础模型通常需要下游适配，而基于LLM的图方法主要处理单模态图或单一领域内的任务。这一设定带来两个关键挑战。首先，模型必须在概括各单一模态知识的同时捕捉可迁移的跨模态关系。其次，在没有目标领域微调的情况下，节点表示仍与领域特定结构及模态特定特征纠缠在一起，掩盖了未见领域中的共享概念。为应对这些挑战，我们提出CHARM，一个具有层次化上下文建模、面向零样本迁移的多模态图基础模型。CHARM用以捕捉多模态语义与跨模态关系的层次化图上下文取代孤立的原始节点。这些上下文将领域特定的节点模式映射到共享的高级概念，降低了对目标领域监督或适配的依赖。一个模态感知的图上下文编码器将多模态信息与图结构整合，并把所得表示转换为供大语言模型使用的图token。实验在零样本多模态图任务上显示出一致的改进。