论文
VeriGraph:走向可验证的数据分析代理
VeriGraph: Towards Verifiable Data-Analytic Agents
摘要
基于 LLM 的代理在数据密集型分析任务中表现出了强大的能力,但它们的输出很少可验证:对线性文本轨迹的依赖使得它们的推理难以审核。特别是,对原始数据的确定性计算和对自然语言主张的语义推导常常纠缠在非结构化流中,使得数值结论难以再现,定性判断难以检查。为了解决这个问题,我们提出了 VeriGraph,一种可追踪的神经符号推理框架,使代理能够在执行过程中构建显式的异构证据定向无环图(DAG)。 VeriGraph 引入了三种证据扩展原语,即计算扩展、证据关联扩展和派生扩展,以在统一的图中连接原始数据、解释器变量、计算结果和自然语言声明。在这种表述下,结构可追溯性被简化为从原始数据源到终端声明的图形可达性,而语义支持则通过声明级证据评估来衡量。为了改进图的构建,我们进一步设计了一种基于图的策略优化策略,该策略具有复合奖励,共同监督答案的正确性、计算完整性和推导一致性。四个基准测试的实验表明,VeriGraph-8B 在所有基准测试中取得了最高的总体得分。更重要的是,VeriGraph 生成的可审计证据图具有更强的主张基础,在我们的主张级证据支持评估下实现了 87.61% 的基础率。这些结果表明,明确的证据图构建是通往可验证数据分析代理的一条有前途的道路。我们的代码可在 https://github.com/ignorejjj/VeriGraph 获取。