迈向统一多模态图基础模型：基于桥接路由器适配器的方法

多模态图将文本和图像等不同模态的节点属性与关系结构耦合起来，从而能够对拓扑结构和跨模态属性进行联合建模。多模态图基础模型从跨不同图域和下游任务传输的数据中寻求统一的表示。然而，现有方法存在两个基本局限性。 (1)跨范围上下文纠缠。它们将特定于范围的图形上下文合并为统一的表示，从而在多模式构建过程中模糊了它们的区别。 (2) 范围无关的模态路由。他们在固定的图表范围内路由模态，忽略了模态相关性在邻域范围内的变化。为了应对这些挑战，我们提出了 BRAIN，这是一个专注于图上下文的统一模型，它将邻域范围与模态组合相结合。 BRAIN 包含一个范围条件桥，它将跨越本地到全局邻域范围的结构信息与不同的模态组合相结合；一个分层路由器，用于估计范围和任务之间的相关性，并在每个范围内单独选择组合，从而允许模态实用程序随图形范围而变化；以及一个轻量级残差适配器，进一步专门用于下游预测的路由嵌入。 BRAIN 通过多图预训练进行训练，然后进行特定任务的适应。跨九个数据集和四个任务系列的实验证明了其广泛的有效性，相对于最强基线，节点分类和链接预测性能提高了高达 4.73%，同时在四个图形到文本和两个图形到图像指标中实现了 14.72% 的平均相对改进。