LLM 协商协作代理：部分可观察性下的联合决策研究

深思熟虑在协作中起着至关重要的作用；当人类一起工作时，他们自然会进行沟通以协调信息并达成协议。在本文中，我们研究了部分可观察联合决策任务下的协商 大语言模型 (LLM) 代理。我们将协商协作形式化为具有部分和不对称观察的合作联合决策问题，并引入了一个可扩展的基准，该基准跨多个任务设置和领域实例化该问题，其中代理必须通过协商交换信息，以达成具有共享奖励的联合决策。然后，我们实例化审议代理的参考支架和评估协议，并对一系列代表性 LLM 进行系统评估。结果表明，复杂的协商协作任务继续挑战最先进的语言模型。即使借助外部数学工具，语言模型也可能在调整信息的深思熟虑过程或做出决策的复杂推理过程中失败。另一方面，诊断分析表明，审议过程也可能提供反思和纠错的机会，有时可以提高集中基线的性能。总而言之，我们的工作为在协商协作中评估和改进 LLM 代理奠定了基础，并提供了对当前基于 LLM 的多代理系统的优势、局限性和属性的见解。