论文
超越聚合困境:多模态图的先验保留解耦学习
Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs
摘要
多模态属性图学习(MAGL)通过图聚合将内在节点属性与结构拓扑集成在一起。然而,随着预训练编码器演变成大型基础模型 (LFM),MAGL 的格局发生了根本性的变化:在高置信度的 LFM 先验下,强制聚合引入了压倒判别信号的拓扑噪声,引发了反直觉的性能反转,其中复杂的 MAGL 架构的性能不如简单的拓扑无关 MLP。通过系统的实证和理论分析,我们发现这种倒置源于一种基本的聚合困境,其特征是两种并发的病理学:(1)代表性病理学(信噪比下降)——强制聚合用拓扑噪声稀释了鲁棒的内在特征,导致噪声损失超过了其协作效益; (2)优化病理学(梯度饥饿)——拓扑聚合会减弱梯度流,而共享任务损失会导致主导模式过早地抑制较弱的模式。为了解决这个困境,我们提出了 SUPRA(共享唯一先验保留架构),一种解耦的双路径范例。 SUPRA 通过与拓扑无关的 MLP 处理特定模态的特征,同时通过轻量级共享 GNN 捕获结构协同作用,并通过辅助深度监督来抵消梯度饥饿。广泛的评估表明,SUPRA 实现了最先进的性能,同时所需的峰值 GPU 内存比 Multimodal Graph Transformer 低 3.5 倍,训练时间快 4.4 倍。