论文

Mochi:通过元学习调整 预训练 和推理以实现高效的图基础模型

Mochi: Aligning Pre-training and Inference for Efficient Graph Foundation Models via Meta-Learning

模型训练预训练

摘要

我们提出了 Mochi,一种图基础模型,通过采用基于元学习的训练框架来解决任务统一和训练效率问题。先前的模型使用基于重建的目标(例如链接预测)进行预训练,并假设生成的表示可以通过单独的统一步骤(例如类原型)与下游任务保持一致。我们通过综合和现实实验证明,该过程虽然简单直观,但具有直接影响下游任务性能的局限性。为了解决这些限制,Mochi 对反映下游评估协议的少数镜头集进行预训练,使训练目标与推理保持一致,而不是依赖事后统一步骤。我们表明,Mochi 及其更强大的变体 Mochi++ 在涵盖节点分类、链接预测和图分类的 25 个真实世界图数据集上,与现有图基础模型相比,实现了具有竞争力或优越的性能,同时所需的训练时间比最强基线少 8$\sim$27 倍。