论文
LoGIC:使用表格基础模型进行节点级图上下文学习的预算上下文构建
LoGIC: Budgeted Context Construction for Node-Level Graph In-Context Learning with Tabular Foundation Models
摘要
表格基础模型已成为强大的图学习器。 G2T-FM 和 GraphPFN 等系统将每个节点编码为特征行,并通过上下文学习 (ICL) 进行预测,并以标记行作为提示。当前的协议使用完整的训练表作为上下文,引起注意力与标记池成二次方缩放,并引入预处理和内存瓶颈。我们研究节点级图 ICL 的上下文构建:哪些标记节点和辅助未标记节点应构成指定查询的提示。我们根据两种资源来制定这种分配:用于预测证据的标记上下文预算和用于不使用标签容量的适配器消息传递的未标记光环预算。我们提出了 LoGIC,它通过结构、基于特征和覆盖通道检索标记节点,在图本地集群中跨查询共享每个上下文,为适配器主干合并未标记的光环,并在没有测试标签的情况下选择通道和上下文预算。在 GraphLand 上两个模型系列的三个主干配置中,预算上下文保持了本地可运行的全上下文性能,与已发布的大数据集结果保持竞争力,并且与全上下文和全图推理相比,峰值内存需求显着降低。他们进一步允许在百万节点图上进行冻结图 ICL,而无需重新训练。我们的分析确定了检索渠道何时发挥最佳作用,并将其行为与图形属性联系起来。