论文
当上游消息覆盖正确答案时:多Agent LLM 协作的对照研究
When Upstream Messages Override Correct Answers: A Controlled Study of Multi-Agent LLM Collaboration
摘要
多Agent LLM 系统依靠专门Agent之间的消息传递来完成复杂的任务。然而,上游Agent可能提供有用的信息或不正确的答案,导致下游Agent覆盖其自身证据支持的正确答案。之前的研究并没有明确区分沟通的好处和错误消息造成的损害。我们通过五个基准和五个接收器的受控实验来研究这个问题,保持下游任务和证据固定,同时比较三种条件下的答案:没有消息、上游Agent的原始消息或具有相反结论的消息。我们的实验揭示了三个关键发现。首先,当下游Agent无法正确回答时,消息通常会有所帮助。其次,消息也会造成伤害:当下游Agent在没有消息的情况下正确回答时,错误的上游消息在高达 32% 的情况下会更改答案。第三,在94%的经审计的有害案例中,下游Agent复制了上游的特定错误答案——我们称之为答案替代的模式。删除不可靠的消息可以恢复部分丢失的准确性,这表明通信应该根据上游可靠性和下游Agent已经可用的证据进行选择性通信。