论文

SidConArena:开放式正和议价中的Agent能力评测

SidConArena: An Environment Evaluating Agents in Open-Ended,Positive-Sum Bargaining Game

智能体系统Agent任务评测

摘要

评估 LLM 代理需要超越静态推理和零和博弈的动态环境。现实世界的经济互动往往是开放式和混合动机的:智能体必须进行谈判,创造正和盈余,争夺稀缺资产,并在延迟回报下进行计划。我们引入了 SidConArena,这是一个新的基准框架,用于在开放式正和讨价还价中评估 LLM 代理。 SidConArena 将多人经济形式化为有限视野、部分可观察的随机游戏,具有三个耦合阶段:具有绑定交易的自然语言谈判、基于确定性转换器的生产以及长期资产的密封投标拍卖。该框架结合了结构化观察、阶段感知代理调度、神经符号动作接口和异步执行,实现自由形式的交互,同时保留基于规则的评估。在同质和异质锦标赛中,更强大的前沿模型可以实现更高的经济成果,但代理商仍然错误地评估资源,被动讨价还价,并且在长期投资规划方面仍然受到限制。