论文
副本还是来源?测量LLM聚合器如何计算多智能体系统中的重述证据
Copies or Sources? Measuring How LLM Aggregators Count Restated Evidence in Multi-Agent Systems
摘要
基于大语言模型 (LLM) 构建的多智能体系统理所当然地重申了观察结果:中继转发它们,共享板重复它们,讨论轮次回应它们。汇集此类消息的聚合器应该计算来源,而不是语句。我们将报告的概率转换为独立读数的单位,为每个重述分配一个副本权重,0表示计算源的聚合器,1表示计算每个陈述的聚合器,并在任何成本结构下产生隐含的决策。三个测试平台固定证据并改变其重述方式:具有精确贝叶斯预言的消息日志、带有附加副本的网络文档以及LLM智能体团队在四种通信协议下编写的日志。在来自三个提供商的四个模型中,转发的副本占新阅读量的 0.06 到 0.42,主要是因为有些回复会计算每个语句。在 5% 到 40% 的日志中,一次读数重复三次,所报告的信念意味着预言机从未做出过的早期承诺。对受控日志的副本计数最少和最多的模型也会对 Web 副本和智能体写入的日志进行计数。对副本贡献的一段声明使受控日志上的副本权重降至 0.08 或更低。让智能体引用读数而不是重述读数的规则将信念暗示的早期承诺从 11.2% 削减到 1.1%,并保留了真正的佐证。
