即兴游戏作为AI智能体社会智能的基准：以Connections为例

我们正式引入一种名为Connections的即兴文字游戏，以探索AI智能体的推理能力。玩Connections结合了知识检索、总结概括以及对其他智能体认知状态的感知等技能。我们展示了该游戏如何成为衡量基于语言模型的智能体社会智能能力的良好基准：它超越智能体自身的记忆与演绎推理，还涉及对其他智能体理解能力的估量。最后，我们展示了在受限环境中与其他智能体沟通时，AI智能体必须在涉及协作的游戏中展现社会意识与社会智能。