论文
LADDER:面向高效多跳推理的图引导扩散语言模型
LADDER: Graph-Guided Diffusion Language Models for Efficient Multi-Hop Reasoning
摘要
图检索增强生成(GraphRAG)通过利用结构化实体拓扑显著增强了大语言模型的复杂推理。然而现有框架严重依赖标准自回归语言模型,其固有的顺序生成特性严重阻碍整体推理效率。受扩散语言模型(DLM)通过并行精化解码提供大规模并行性的启发,我们试图在离散空间加速 GraphRAG。但这面临两个非平凡挑战:其一,部分去噪的草稿高度动态且不确定,使动态图接地非同小可;其二,原始去噪状态天然嘈杂且不稳定,使同步图检索与多跳聚合在计算上代价过高。为此我们提出 LADDER,一个通过图引导并行解码连接扩散语言建模与 GraphRAG 的新框架。具体而言:(i) 我们提出事件驱动的自时钟检索,源于一个关键洞察:88% 的目标实体在部分去噪状态的早期即已出现,其最终确定平均滞后 5.7-9.6 步。该机制仅在可链接图的实体集合扩张时动态触发图检索,形成绕过学习门控或启发式阈值的异步自时钟策略。(ii) 不完整查询图传播模块使用专门的图基础模型处理新出现的实体查询,持续聚合多跳证据以锐化并行预测并加速整体解码收敛。在三个挑战性多跳问答基准上的大量实验表明,LADDER 将平均精确匹配从 39.6% 提高到 45.2%,同时实现 4.1 倍延迟降低。
