评估生成模型作为类人协作行为的交互式紧急表示

人机协作需要人工智能代理了解人类行为以进行有效协调。虽然基础模型的进步在理解和展示类人行为方面显示出了有前景的能力，但它们在具体协作环境中的应用还需要进一步研究。这项工作检查了具体的基础模型代理是否表现出紧急的协作行为，表明其合作者的潜在心理模型，这是有效协调的一个重要方面。本文开发了一个 2D 协作游戏环境，其中 大语言模型 代理和人类完成需要协调的颜色匹配任务。我们将五种协作行为定义为新兴心理模型表征的指标：观点采择、协作者意识规划、内省、心理理论和澄清。使用基于 LLM 的法官的自动行为检测系统可以识别这些行为，从而与人类注释达成公平到实质性的一致。自动行为检测系统的结果表明，基础模型始终表现出新兴的协作行为，而无需经过明确的培训。这些行为在协作阶段以不同的频率发生，在不同的 LLM 中具有不同的模式。还进行了一项用户研究，以评估人类满意度和感知协作有效性，结果表明积极的协作体验。参与者赞赏代理的任务重点、计划语言和主动性，同时建议改进响应时间和类人交互。这项工作提供了人类与人工智能协作的实验框架、LLM 代理中协作行为的经验证据、经过验证的行为分析方法以及协作有效性的评估。