论文

MAGIC:拓扑感知分析图少样本类增量学习

MAGIC: Topology-Aware Analytic Graph Few-Shot Class-Incremental Learning

模型训练持续学习

摘要

图少镜头类增量学习(GFSCIL)需要一个模型不断地从少数标记节点中识别新出现的类,同时保留以前获得的知识。除了从传统图连续学习中继承的灾难性遗忘之外,GFSCIL 还提出了两个独特的挑战:极其有限的新颖类监督会导致严重的过度拟合,而跨会话边缘(连接新到达节点与历史节点的边缘)会改变历史传播邻域,从而引起表示漂移。我们提出了 MAGIC,一种免重放的 GFSCIL 框架,它将冻结图表示骨干模型(例如,本质上无参数的骨干模型,如 SGC 或预训练的图基础模型)与封闭式分析持续学习相结合。为了缓解小说会话过度拟合,MAGIC 从基本图中学习了可以表征同质和异质关系的拓扑先验,并通过 Potts Markov 随机场推理注入该先验以完善对小说类的监督。为了减轻表示漂移,MAGIC 通过漂移感知分析蒸馏将先前的预测从受影响的历史节点的旧表示转移到其更新的表示。五个数据集和八个基线的实验证明了 MAGIC 的有效性。在 5 次设置下,MAGIC 与最佳基线相比,平均准确度和最终准确度平均提高了 5.48 个百分点和 9.33 个百分点,性能下降平均降低了 10.78 个百分点。 MAGIC 在 1 发和 3 发设置下也显示出明显的优势,随着支撑数量的增加,增益更大。此外,MAGIC 所需的训练时间要少得多。

MAGIC:拓扑感知分析图少样本类增量学习的原论文方法或结果图
图 1:在基础阶段,MAGIC 学习拓扑先验。在新颖的会话中,有限的标记支持首先更新初始分类器,而漂移感知蒸馏则保护受跨会话边缘影响的历史节点。最后,MAGIC 围绕新颖的支撑提取子图,并使用拓扑先验进行 Potts MRF 推理,以调整初始分类器预测的伪标签,然后使用这些调整后的标签更新分类器。