使用可学习的图补丁处理特征异构性

近年来，基础模型和图 预训练 技术的快速发展激发了人们对构建通用预训练图模型或图基础模型（GFM）的兴趣。然而，一个重大挑战是现有模型无法在没有文本信息的情况下解决图数据中的特征异构性，这阻碍了图模型在不同数据集之间的可迁移性。为了弥补这一差距，我们提出了可学习图补丁的概念，我们将其视为任何图数据的最小语义单元。我们通过展开节点特征并分别构造相应的补丁结构，将图分解为可学习的图补丁。然后，我们设计一个框架，从跨域的图形数据中挖掘可转移的信息。具体来说，在提取图补丁之后，我们提出了一个补丁编码器来从每个单元中提取知识，并提出了一个补丁聚合器来学习这些单元如何组合成一个整体。由于其与领域无关的性质，该模型可以应用于跨不同领域的下游数据。此外，我们分析了我们的方法和现有图模型之间的联系，以及它生成的节点嵌入的可转移性。根据经验，我们的方法不仅实现了对 预训练 使用多域图的能力，而且还显示了跨各种下游数据集和任务的增强性能。此外，我们观察到随着 预训练 数据量的增加，下游性能持续改善。