论文
图基础模型可以推广到架构吗?
Can Graph Foundation Models Generalize Over Architecture?
摘要
图基础模型 (GFM) 最近引起了人们的兴趣,因为图神经网络 (GNN) 架构有望在任意尺度、特征维度和域的图上泛化零样本。虽然现有的工作已经在不同的现实世界基准中凭经验证明了这种能力,但这些任务有一个关键的隐藏限制:它们承认一组狭窄的有效 GNN 架构。特别是,当前与领域无关的 GFM 依赖于固定的架构主干,隐含地假设单个消息传递机制足以跨任务。在本文中,我们认为架构适应性是真正 GFM 的必要要求。我们表明,现有的方法对于任务相关的架构属性来说是不稳健的,并且作为案例研究,使用范围作为最小且可测量的轴,沿着该轴,这种限制变得明显。通过理论分析和受控综合实验,我们证明固定主干 GFM 可能无法完成架构要求与训练时不同的任务。为了解决这个问题,我们引入了一个框架,通过发现和混合特定于任务的线性图运算符,在推理时适应有效的 GNN 架构,从而实现跨具有异构架构要求的任务的零样本泛化,而无需重新训练。我们在任意范围的合成任务和一系列现实世界基准上验证了我们的方法,证明了比现有的与领域无关的 GFM 具有更高的性能和鲁棒性。