多代理系统何时有用？信息瓶颈视角

LLM 支持的多代理系统 (MAS) 已成为复杂任务的有前途的范例。然而，它们相对于单代理系统 (SAS) 的优势仍不清楚，不同设置下的性能变化不一致。在这里，我们提供信息瓶颈视角来阐明 MAS 和 SAS 之间的差异。具体来说，我们的主要观察结果是 SAS 在一个共享上下文中累积其完整推理轨迹，而 MAS 使用通过有界中继消息连接的隔离本地上下文。我们表明，在无限中继带宽下，任何 SAS 都可以通过传输完整上行上下文的 MAS 进行模拟。因此，MAS 的重要优势出现在有界中继下，其中压缩引入了一个基本的权衡：减少冗余上下文可以提高效率，但也可能导致任务相关信息的丢失。我们将这种权衡形式化为由有效参数 $β$ 控制的信息瓶颈，该参数捕获了平衡如何随模型能力而变化，并表明当上下文减少超过中继信息损失时，MAS 增益就会出现。我们在五个基准和三个模型尺度上进行了 18 项对照实验，以验证我们的理论研究。我们观察到，当继电器接近充足时，​​MAS 始终会提供帮助，特别是对于较弱的模型。相比之下，当中继发生信息丢失时，MAS 增益会缩小或逆转，特别是对于已经可以从冗余上下文中提取有用信息的更强模型，因此从压缩中获得的收益很少。我们的研究表明，多智能体设计从根本上来说是一个信息瓶颈优化问题。这个观点解释了有界代理间通信何时有益或有害。