论文

消息调优胜过图形提示调优:棱镜空间视角

Message Tuning Outshines Graph Prompt Tuning: A Prismatic Space Perspective

模型训练参数高效训练

摘要

基于 预训练 和适应范式构建的图基础模型(GFM)已成为图学习领域的研究热点。对于基于 GNN 的 GFM,图提示调整已成为下游任务的主流适应方法。尽管最近的方法解释了图提示调整为何有效,但如何严格衡量其适应能力仍然是一个悬而未决的问题。解决这个问题对于理解图形提示调整的能力限制和开发更强大的适应方法至关重要。在本文中,我们提出了棱柱空间理论(PS-Theory),这是一种量化适应方法能力的新颖数学框架,同时重点建立图提示调整的适应能力上限。基于所提出的 PS 理论,我们进一步引入了 GFM 消息调整(MTG),这是一种轻量级方法,它将一小组可学习的消息原型注入到 GNN 主干的每一层中,以自适应地指导消息融合,而无需更新预先训练的权重。通过我们的PS理论,我们证明了MTG的适应能力可以超过图提示调整的理论上限。大量实验表明,MTG 在不同的基准数据集中始终优于图形提示基线,为我们的理论发现提供了强有力的实证支持。