论文

GFMate:通过测试时提示调整为图基础模型提供支持

GFMate: Empowering Graph Foundation Models with Test-time Prompt Tuning

模型训练参数高效训练

摘要

图提示调优通过引入可训练的提示来增强传统单域场景中的模型性能,在图学习中显示出巨大的潜力。最近的研究扩展了图形提示,通过几次调整辅助提示来改进图形基础模型(GFM)。尽管取得了进展,大多数现有方法将源域信息嵌入到提示中,这些提示要么作为 GFM 的输入,要么在模型 预训练 期间进行编码。这种与特定源域和 GFM 预训练 策略的快速纠缠限制了它们对其他域和不同 GFM 的通用性。此外,现有的 GFM 提示仅仅依赖于小样本调整来进行适应,忽略了未标记的目标域测试数据中的丰富信息。受这些见解的启发,本文旨在为 GFM 提供与 预训练 无关的测试时间图形提示调整(名为 GFMate)。 GFMate 引入了在 预训练 之后应用于目标域的质心和图层提示,避免了与特定源域和模型 预训练 的纠缠。此外,还设计了测试时补充学习目标,以利用标记和未标记的目标域数据来进行有效的测试时提示调整。在 12 个基准数据集上进行的大量实验证明了 GFMate 的卓越性能和效率,实现了高达 30.63% 的改进。代码可在 https://github.com/YanJiangJerry/GFMate 获取。