论文

PLMGH:PLM-GNN 混合代码分类和漏洞检测中最重要的是什么

PLMGH: What Matters in PLM-GNN Hybrids for Code Classification and Vulnerability Detection

摘要

代码理解模型越来越依赖于预训练语言模型 (PLM) 和图神经网络 (GNN),它们捕获互补的语义和结构信息。我们通过系统地将三个代码专用 PLM 与三个基础 GNN 架构配对,对用于代码分类和漏洞检测任务的 PLM-GNN 混合体进行了受控实证研究。我们将这些混合体与 Java250 和 Devign 上的仅 PLM 和仅 GNN 基线进行比较,包括标识符混淆设置。在这两项任务中,混合模型始终优于仅使用 GNN 的基线,并且通常比冻结的 PLM 提高了排名质量。在 Devign 上,性能和鲁棒性对 PLM 特征源比对 GNN 主干更敏感。我们还发现,在此流程中,较大的 PLM 不一定是更好的特征提取器,并且 PLM 选择比 GNN 选择具有更大的影响。最后,我们将这些发现提炼成代码分类和漏洞检测中 PLM-GNN 设计选择的实用指南。