主要特质分析：在人机协作中衍生“技能”

通过人与人工智能 (AI) 协作，大语言模型 驱动的代理越来越多地在工作场所使用。在这个新的工作时代，了解有助于任务成功的各种激励特征非常重要。此外，我们需要发现现代专业人员所需的关键技能，并告知教育工作者如何在学生中培养这些技能。现有的人类与人工智能协作指南是根据自上而下的理论或对人类与人工智能交互的特定背景观察建立的。然而，由于 LLM 能力正在迅速提高，理论可能无法解释新兴的交互模式，并且经验指南可能很快就会过时。在这项工作中，我们探索了一种自动化、数据驱动的方法来发现与任务结果相一致的有效人机交互模式（我们称之为特征）。我们提出了主特征分析，这是一种受主成分分析启发的算法，用于从 LLM 对话中的模式中导出共同特征。我们的算法使用基于 LLM 的处理阶段来分析人类与人工智能协作会话轨迹的语料库，得出整个数据集中的共同特征，并根据每个特征对每个人类协作者的使用风格进行评分。该方法还允许在特征发现过程中注入领域专业知识，并选择最显着的特征，即那些在合作者之间表现出最大差异的特征。我们在两个人类与人工智能协作编码数据集、教育环境（与人工智能导师一起工作的学生）和专业环境（与人工智能 编码智能体 一起工作的开发人员）上评估 PTA。我们发现 PTA 衍生的特征对于解释两种环境中的协作者行为具有重要意义，并且可以帮助预测任务结果。然而，由于普遍性以及用户特征如何随时间变化的结果尚无定论，因此特征是否符合技能仍有待观察。