论文
PropUQ-MAS:LLM 多智能体系统的传播感知不确定性量化
PropUQ-MAS: Propagation-Aware Uncertainty Quantification for LLM Multi-Agent Systems
摘要
基于 LLM 的多代理系统 (MAS) 通过角色专业代理之间的通信来解决复杂的任务。然而,代理间依赖性带来的可靠性风险超出了孤立代理故障的范围。例如,中间消息中的错误可能会被下游代理继承和放大。现有的不确定性量化(UQ)方法主要针对孤立响应或单主体推理,因此无法捕获 MAS 中的不确定性传播。为此,我们提出了 PropUQ-MAS,一种错误传播感知的 UQ 框架,它将 MAS 执行表示为通信结构图,并通过将本地不确定性与从上游消息继承的不确定性相结合来估计每个步骤的可靠性。大量实验表明,PropUQ-MAS 持续改善 MAS 中的 UQ,AUROC 的平均相对增益为 +6.10%,PRR 的平均相对增益为 +47.58%。