GRACE：基于图形的反射代理副驾驶引擎，用于专家在环知识扩展

在高风险环境中部署的 大语言模型 经常会产生看似合理但毫无根据的声明。标准检索增强生成（RAG）管道提供的补救措施有限，因为它们检索孤立的段落，而不跟踪跨文档证据关系或量化不确定性。我们引入了 GRACE（基于图的反射代理副驾驶引擎），这是一个框架，它将 LLM 响应解构为原子声明，并将它们基于加权二分图中的可信知识先验。边缘权重对每个声明与先验的接近程度进行编码，从而实现加权中心性分析，将声明分类为有根据的、已驳斥的或边界的。这种分类不仅可以识别幻觉，还可以识别模型知识前沿的新颖或有争议的主张。为了有效地分配人力或代理资源，我们制定了注意力回报 (RoA) 目标，仅当优先级加权的不确定性超过验证成本时，才将主张推迟到专家审查。经专家验证的主张将被提升为新的证据锚点，从而关闭验证器-LLM 进化循环，从而在迭代中扩展知识库。我们跨多种语言模型以及涵盖一般知识和特定领域知识的数据集评估 GRACE。我们的结果表明，我们的知识库作为检索的可靠基础，其性能优于 RAG 基线，并且 RoA 框架有效地选择有价值的边界知识进行专家验证。这些发现表明，图结构表示与专家在环验证相结合可以减轻系统级别而不是生成级别的幻觉。代码可在 https://github.com/johnsk95/grace_code 获取