论文

副本还是来源?测量LLM聚合器如何计算多智能体系统中的重述证据

Copies or Sources? Measuring How LLM Aggregators Count Restated Evidence in Multi-Agent Systems

智能体系统Agent 协作

摘要

基于大语言模型 (LLM) 构建的多智能体系统理所当然地重申了观察结果:中继转发它们,共享板重复它们,讨论轮次回应它们。汇集此类消息的聚合器应该计算来源,而不是语句。我们将报告的概率转换为独立读数的单位,为每个重述分配一个副本权重,0表示计算源的聚合器,1表示计算每个陈述的聚合器,并在任何成本结构下产生隐含的决策。三个测试平台固定证据并改变其重述方式:具有精确贝叶斯预言的消息日志、带有附加副本的网络文档以及LLM智能体团队在四种通信协议下编写的日志。在来自三个提供商的四个模型中,转发的副本占新阅读量的 0.06 到 0.42,主要是因为有些回复会计算每个语句。在 5% 到 40% 的日志中,一次读数重复三次,所报告的信念意味着预言机从未做出过的早期承诺。对受控日志的副本计数最少和最多的模型也会对 Web 副本和智能体写入的日志进行计数。对副本贡献的一段声明使受控日志上的副本权重降至 0.08 或更低。让智能体引用读数而不是重述读数的规则将信念暗示的早期承诺从 11.2% 削减到 1.1%,并保留了真正的佐证。

副本还是来源?测量LLM聚合器如何计算多智能体系统中的重述证据的原论文方法或结果图
图 1. 一个读数转发两次。 智能体 A1观察传感器S1、A2和A3传电,$w$为复印重量。计数副本使证据超过提交边界,计数来源使其保持在一个读数,三个独立的传感器 S1 到 S3 证明提交是合理的。两行显示三个 STORM 消息的相同日志:智能体 A1 观察传感器 S1,智能体 A2 和 A3 传递 A1 的报告。在上面一行中,聚合器计算副本数(w = 1),将证据放置在三个读数处,超出提交边界两次,并提前提交。在下面的一行中,它计算来源(w = 0),将证据放在一次阅读中,即神谕所在,并要求更多。底部条带显示三个独立的传感器 S1、S2 和 S3,它们提供三个读数并证明提交的合理性。