论文
LLM 增强型图神经网络对中毒攻击是否具有鲁棒性?
Are LLM-Enhanced Graph Neural Networks Robust against Poisoning Attacks?
摘要
大语言模型 (LLM) 通过用语义特征丰富节点表示来拥有先进的图神经网络 (GNN),从而产生 LLM 增强型 GNN,从而实现显着的性能提升。然而,这些模型针对中毒攻击(在训练过程中操纵图结构和文本属性)的鲁棒性仍有待探索。为了弥补这一差距,我们提出了一个鲁棒性评估框架,系统地评估中毒攻击下的 LLM 增强型 GNN。我们的框架可以实现多维度的综合评估。具体来说,我们通过将八个基于 LLM 或语言模型 (LM) 的特征增强器与三个代表性 GNN 主干相结合来评估 24 个受害者模型。为了确保攻击覆盖范围的多样性,我们纳入了六种结构性中毒攻击(有针对性的和非针对性的)和三种在字符、单词和句子级别操作的文本中毒攻击。此外,我们采用了四个真实世界的数据集,包括 LLM 出现后发布的一个数据集,以避免 LLM 预训练期间潜在的 真值 泄漏,从而确保公平评估。大量实验表明,与基于浅嵌入的基线相比,LLM 增强型 GNN 在各种攻击设置中表现出明显更高的精度和更低的相对精度下降 (RDA)。我们的深入分析确定了有助于这种鲁棒性的关键因素,例如节点表示中结构和标签信息的有效编码。基于这些见解,我们从进攻和防御的角度概述了未来的研究方向,并提出了一种新的组合攻击和图纯化防御。为了支持未来的研究,我们在 ~\url{https://github.com/CyberAlSec/LLMEGNNRP} 发布了我们框架的源代码。