论文
面向高风险智能体验证的准则依据对齐证据累积
Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification
摘要
随着 LLM 智能体被用于临床诊断等高风险决策，为其决策建立可靠验证以促成可信部署变得至关重要。然而，现有验证器因缺乏领域知识和校准有限而通常表现不佳。为此，我们建立 GLEAN，一个具基于准则证据累积的智能体验证框架，把专家整理的方案编译为基于轨迹、校准良好的正确性信号。GLEAN 评估每步与领域准则的对齐，把多准则评级聚合为替代特征，沿轨迹累积并用贝叶斯逻辑回归校准为正确性概率。此外，估计的不确定性触发主动验证，通过扩展准则覆盖和执行鉴别性检查为不确定案例选择性收集额外证据。我们在 MIMIC-IV 数据集的三种疾病 Agentic 临床诊断上实证验证 GLEAN，AUROC 超最佳基线 12%，Brier 分数降低 50%，证实其在判别与校准两方面均有效。此外，与临床医生的专家研究认可 GLEAN 的实践效用。
