大语言模型 中用于图理解的边缘感知曲率建模

最近，图感知 大语言模型 (LLM) 在联合建模图结构数据和文本信息方面表现出了良好的能力。现有方法通常采用图形编码器和冻结的 LLM 从图形和文本视图中获取节点表示，然后通过节点级对齐来桥接两种模式。然而，这种对齐机制主要关注节点信息，而忽略了边缘级结构，导致跨视图的信息传播不理想。在这项工作中，我们进行了全面的理论分析，以揭示为什么节点级对齐不足以对齐文本和图形表示。具体来说，我们首次从理论上证明，忽略边缘信息会导致次优解，负弯曲边缘会导致信息流瓶颈，从而导致图视图和文本视图之间的过度挤压现象。为了解决这两个挑战，我们创新性地为大语言模型提出了曲率增强图表示的CureLLM框架，其目标是将边缘信息信号注入到现有的LLM中。具体来说，CureLLM首先引入了无需训练文本提示机制，使LLM模型直接基于边缘感知提示生成输出，无需可学习的参数成本。此外，一种新颖的曲率感知图表示学习旨在捕获边缘结构信息以增强下游任务，其中文本和图表示之间的消息传递仅取决于具有正曲率的边缘。最后，我们使用 20 种不同的比较方法对来自不同领域的 11 个真实世界数据集进行评估，实验结果证明了我们提出的 CureLLM 框架的优越性。