SMAC-Talk：星际争霸多智能体挑战的自然语言扩展

随着大语言模型得到更广泛的部署，人们越来越期望它们与其他人工智能代理一起工作，而不是孤立地运作。在这些环境中有效的协调需要代理在不确定的情况下进行沟通、共享信息并做出决策。我们引入了 SMAC-Talk，它是星际争霸多智能体挑战赛的自然语言扩展，用于在协作多智能体环境中评估基于 LLM 的智能体。该环境具有几个关键特征，例如分散控制、部分可观察性和长期决策。 SMAC-Talk 包括一个自然语言通信通道，用于探测代理协调和信任。我们使用此通信渠道构建不同的评估场景，包括嵌入欺骗性通信器的设置，该通信器试图仅通过通信来扰乱和欺骗盟友。我们使用 Qwen3.5 系列的 4 个模型提供了三个代理进行基准测试，并研究推理结构、内存和模型规模如何影响代理之间的协调。我们发布 SMAC-Talk 作为开放基准，以支持研究社区在合作的多智能体环境中开发和评估 LLM 智能体。