TeamLLM：面向多步骤情境化任务的类人团队协作框架

最近，提出了多 大语言模型 (LLM) 框架来解决上下文化任务。然而，这些框架没有明确模拟人类团队的角色划分，这可能会导致单一视角，从而削弱多步骤情境化任务的性能。为了解决这个问题，我们提出了 TeamLLM，一个面向人类团队的多 LLM 协作框架。 TeamLLM采用四种分工明确的团队角色，并采用三阶段多LLM协作来完成多步骤的情境化任务。为了评估 TeamLLM 在多步骤情境化任务上的有效性，我们提出了情境化和程序化任务（CGPST）并构建了 CGPST 基准。该基准有四个核心特征：情境基础、程序结构、过程导向和多维度评估。我们从整体层面、步骤层面和维度层面对CGPST上十个热门的LLM进行了评估。结果表明，TeamLLM 显着提高了 CGPST 的性能。我们发布了包含十个 LLM 的场景、全流程响应和人工评分的基准。代码和数据可在 https://anonymous.4open.science/r/TeamLLM-anonymous-C50E/ 上获取。