论文
图形证据还不够:诊断图形增强 LLM 中的本机解码器使用
Graph Evidence Is Not Enough: Diagnosing Native Decoder Use in Graph-Augmented LLMs
摘要
图增强的 大语言模型 通常假设由外部计算生成并放置在输入中的图证据可以由本机解码器使用。我们使用 HopQA 来测试这个假设,这是一种有意有界的诊断,要求两个查询节点之间的最短跳距离。因为答案是一个小整数,并且目标纯粹是拓扑的,所以不能将失败视为开放式生成或模糊评估。然而,现有的图形增强基线在这种设置上仍然失败,这表明提供图形证据并不等于使其可用。我们引入了具有三个匹配条件的干预三角形:可读的图形证据、打乱的图形证据和无图形输入。这将证据包含、结构可读性和解码器可用拓扑分开。在此诊断的指导下,我们以 S$^2$GE 为例,表明诊断驱动的界面设计可以提高本机解码器的可用性。 S$^2$GE 使用查询感知采样、端点和基于邻近度的排序以及结构保留对齐。在 DBLP、Biomedical、GoodReads 和 PubMed 中,S$^2$GE 达到了 $36.5\%$、$57.8\%$、$76.6\%$ 和 $52.0\%$ 的严格精确匹配分数,比最强的本地生成基线平均提高了 $53.5$ 点。这些干预措施进一步揭示了有害的洗牌、洗牌鲁棒性和非图饱和机制。