消息传递在图的上下文学习中事半功倍

使用图神经网络 (GNN) 实现强大的性能通常需要对每个数据集进行训练和超参数调整，从而产生重复的成本和精力。图上下文学习 (ICL) 通过使用单个预训练模型直接从标记的上下文节点预测未知节点标签来避免这种情况。然而，现有的方法依赖于跨节点的密集关注，随着图的增长，推理变得越来越昂贵。在这项工作中，我们提出了 Ephris，一种基于稀疏消息传递的新图上下文学习器，可随节点特征条目和图边的数量线性缩放。 Ephris 完全在由具有不同图结构和关系动态的结构因果模型生成的合成图上进行预训练，使模型暴露于拓扑、特征和标签之间的不同依赖关系。我们在高标签和低标签训练/验证/测试分割下，针对 15 个广泛调整的 GNN 和现有图 ICL 方法，在 51 个节点分类数据集上评估 Ephris。在这两种设置中，Ephris 在所有四个综合指标上均排名第一：Elo、可改进性、平均排名和准确性。其推理成本与训练单个 GNN 一次相当，同时比之前的图 ICL 模型快 10 倍以上。总之，这些结果推进了性能运行时帕累托前沿，证明强大的图 ICL 不需要密集关注。代码和型号重量可在 https://github.com/nums-ai/ephris. 上找到