论文

GSAR:按证据类型检测多Agent幻觉并指导恢复

GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs

模型评测评测方法与指标

摘要

自主多智能体LLM系统正日益被部署用于调查运营事件并产出结构化诊断报告,其可信度取决于每条论断是否扎根于观测到的证据,而非模型内部推断。现有的证据支持程度(groundedness)评估器(二元分类器、LLM-as-judge标量、自我纠错循环)将支持证据视为可互换的,只输出单一信号,无法对下游行动提供有原则的控制。我们提出GSAR,一个证据支持程度评估与重规划框架:(i) 将论断划分为四类类型(grounded有据、ungrounded无据、contradicted矛盾、complementary互补),明确保留非冗余的替代视角;(ii) 赋予反映认知强度的、随证据类型而异的权重;(iii) 计算一个非对称的、惩罚矛盾的加权证据支持程度得分;(iv) 将该得分与三级决策函数(proceed继续、regenerate重生成、replan重规划)耦合,在显式计算预算下驱动有界迭代的外循环。我们对该算法进行形式化,证明六个结构性质,并在FEVER上以金标维基百科证据、四个独立训练的LLM评审(gpt-5.4、claude-sonnet-4-6、claude-opus-4-7、gemini-2.5-pro)评估五项设计主张。每项消融在所有评审上均以相同方向复现:rho=0效应的自助法95%置信区间在全部四个评审上均不含0;Opus 4.7下的无互补消融CI为[-96,-68](以200为基准);在n=1000时,三个独立评审收敛到DeltaS(rho=0)=+0.058。文中还包含与Vectara HHEM-2.1-Open的正面对比。据我们所知,GSAR是首个将证据类型化打分与显式计算预算下的分层恢复相耦合的已发表证据支持程度框架。