超越金师：通过LLM-GNN联合教学增强图学习

文本属性图 (TAG) 是引文网络、社交媒体和电子商务等现实应用程序的基础。 TAG 上的少样本图学习很困难：每个类只有少数标签，并且图的其余部分没有注释，GNN 和 LLM 都无法自行学习。 GNN 读取拓扑并在冷节点上失败； LLM 读取文本并在文本不明确的节点上失败。现有的 LLM-GNN 方法都遵循相同的方法：指定一个模型作为标准教师并使用其输出（例如特征或伪标签）来监督另一个模型。我们认为，这种标准教师的假设在稀疏的监督下就会被打破：这两种模型都不是绝对可靠的教师模型，并且将其视为绝对可靠的教师模型，将其盲点转移到学生身上。因此，我们要问：我们是否可以避免将任一模型指定为标准教师，而仍然进行有效的图学习？我们用 LLM-GNN 协同教学来回答，这是一个双向协同教学框架，其中两个模型都不固定为教师。 GNN 和 LLM 在特定于架构的小损失标准下交换最有信心的伪标签，并且每轮都会更新。然后从轨迹中挖掘监督：每当节点从第 t 轮的跨模型矛盾转向第 t+1 轮的跨模型一致时，LLM 在同一输入上的两个答案形成一个用于 DPO 训练的偏好对（旧的矛盾自我 < 新的同行认可的自我）。我们称之为基于轮次的伪标签偏好优化（RPL-PO）。在六个基准测试中，LLM-GNN Co-Teaching 始终优于 GNN-as-Judge 和所有先前方法，在 Cora 上绝对 3-shot 增益为 7.86%，在 ogbn-arxiv 上绝对增益为 7.73%；改进还适用于 5-shot 和 0-shot 跨数据集传输。误差结构分析进一步表明，放弃标准教师假设大大提高了 LLM 在挑战性样本上的图学习能力。