G2LoRA：用于文本属性图上的图持续学习的梯度正交低秩适应框架

LLM-as-Aligner 已成为文本属性图（TAGS）的流行 预训练 范例，通过 CLIP 式对比学习将图和文本模态对齐到共享嵌入空间。虽然对单个下游任务有效，但当这些模型在流任务上顺序微调时，我们观察到严重的灾难性遗忘。虽然参数高效的微调在一定程度上减轻了遗忘，但仍不足以解决任务干扰和无效知识转移的问题。在这项工作中，我们研究了 TAG 上 LLM-as-Aligner 模型的图连续学习，其目标是减轻干扰，同时促进跨任务的正向迁移。这种设置引入了两个基本挑战：（1）异构下游任务会导致优化目标发生变化，阻碍统一的 微调； (2)图形和文本编码器对适应表现出不同的敏感性，使得不协调的更新容易出现错位。为了应对这些挑战，我们提出了 G2LoRA，一个 TAG 的持续学习框架。 G2LoRA 将节点、链路和图级任务统一在单个图文本对齐目标下，并实现跨域/类/任务增量模式的一致优化。为了减少任务干扰，同时鼓励正迁移，G2LoRA 在结构化子空间中执行类别感知梯度投影，解决更新冲突并启用条件向后迁移，以平衡前向和后向知识流。为了进一步防止跨模态漂移，G2LoRA 引入了梯度幅度调制来协调图形和文本编码器之间的更新速率。对基准数据集的大量实验表明，G2LoRA 在不同骨干架构上始终优于强大的基线，实现了卓越的连续性能和可转移性。