论文

将输入特征空间桥接到图基础模型

Bridging Input Feature Spaces Towards Graph Foundation Models

模型架构新型架构

摘要

与视觉和语言领域不同,图学习缺乏共享的输入空间,因为图数据集中的输入特征不仅在语义上不同,而且在值范围和维度上也不同。这种不一致会阻止图模型跨数据集泛化,从而限制它们作为基础模型的使用。在这项工作中,我们提出了 ALL-IN,这是一种简单且有理论基础的方法,可以实现具有不同输入特征的数据集之间的可转移性。我们的方法将节点特征投影到共享的随机空间中,并通过基于协方差的统计来构造表示,从而消除对原始特征空间的依赖。我们表明,计算的节点协方差运算符和生成的节点表示在输入特征排列的分布中是不变的。我们进一步证明预期算子对输入特征的一般正交变换表现出不变性。根据经验,ALL-IN 在具有新输入特征的未见过的数据集上跨不同节点和图形级任务实现了强大的性能,而不需要架构更改或重新训练。这些结果为输入无关、可转移的图模型指明了一个有希望的方向。