一个词元就够了吗？基于 LLM 的 GraphQA 的图池化词元

图神经网络 (GNN) 与 大语言模型 (LLM) 的集成已成为图问答 (GraphQA) 的一个有前途的范例。然而，将复杂结构信息编码到 LLM 潜在空间的有效方法仍然是一个开放的挑战。当前最先进的架构，例如 G-检索器，通常依赖于标准 GNN 和积极的均值池将整个图子结构压缩为单个词元，从而造成严重的信息瓶颈。这项工作通过研究两种正交策略来缓解这一瓶颈：（1）通过多词元池增加图到 LLM 接口的带宽，以及（2）通过全局注意机制增强图编码器的语义质量。我们评估了一套基于分层剪枝和聚类的池化算子，包括 Top-k、SAGPool、DiffPool、MinCutPool 和 Virtual Node Pooling (VNPool)，将图数据投影到多个可学习的 token 中。根据经验，我们证明，虽然池化在软提示调整期间引入了显着的不稳定性，但低秩适应（LoRA）的应用有效地稳定了特定的分层投影（特别是 VNPool 和剪枝方法），尽管密集聚类算子仍然具有挑战性。这种稳定性使得压缩表示可以与全图基线相媲美（在 WebQSP 上达到约 73% Hit@1）。从概念上讲，我们演示了具有 VNPool 实现的 Graph Transformer 在结构上充当单层感知器 IO 编码器。最后，我们将 FandE（特征和边缘）分数调整到生成 GraphQA 领域。我们的分析表明，GraphQA 基准测试存在代表性饱和问题，其中目标答案通常与孤立节点特征高度相关。该实现可在 https://github.com/Agrover112/G-检索器/tree/all_good/