论文
每个响应都很重要:通过张量分解量化基于 LLM 的多智能体系统的不确定性
Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition
摘要
虽然基于 大语言模型 的多代理系统 (MAS) 在复杂任务上始终优于单代理系统,但它们复杂的交互引入了由通信动态和角色依赖性引起的关键可靠性挑战。现有的不确定性量化方法通常为单圈输出而设计,无法解决 MAS 的独特复杂性。具体来说,这些方法面临三个不同的挑战:多步推理中的级联不确定性、代理间通信路径的可变性以及通信拓扑的多样性。为了弥补这一差距,我们引入了 MATU,这是一种通过张量分解来量化不确定性的新颖框架。 MATU 通过将整个推理轨迹表示为嵌入矩阵并将多个执行运行组织成高阶张量,超越了分析最终文本输出。通过应用张量分解,我们解开并量化了不同的不确定性来源,提供了可推广到不同代理结构的全面可靠性度量。我们提供全面的实验来证明 MATU 可以有效地估计不同任务和通信拓扑中的整体和稳健的不确定性。