论文

学习黎曼图的图基础模型

Learning Graph Foundation Models on Riemannian Graph-of-Graphs

模型架构新型架构

摘要

经过海量图数据预训练的图基础模型 (GFM) 通过支持跨不同图任务和领域的通用推理,改变了图机器学习。现有的使用固定跳数子图采样进行预训练的 GFM 会施加固定的感受野,导致不同任务的尺度不匹配,而这些任务通常需要超出固定采样尺度的异构且未知的结构上下文。我们提出了 R-GFM,一种基于黎曼图的图(GoG)的基础模型,它将结构尺度视为建模中的一等公民。 R-GFM 在不同的跳跃距离构建多尺度 GoG 过采样子图,并从黎曼流形学习几何自适应表示。理论分析表明,与固定尺度 GFM 相比,R-GFM 降低了结构域泛化误差。对各种数据集的实验表明,R-GFM 实现了最先进的性能,下游任务的相对改进高达 49%。我们的代码可在 https://github.com/USTC-DataDarknessLab/R-GFM 获取。