论文

使用扎根理论进行大规模代理行为分析

Using Grounded Theory for Agent Behavior Analysis at Scale

智能体系统Agent任务评测

摘要

了解智能体行为需要能够扩展到数千条轨迹的方法,并在长期且通常不熟悉的任务中呈现新模式,而预构建的分类器则无法满足这些任务。我们建议将扎根理论引入主体轨迹分析中:这是一种来自社会科学的六年历史的定性方法,具有原则性的饱和标准和从数据到理论的可审计线索。我们提出了 AutoTraceGT(通过扎根理论进行自动跟踪分析),这是第一个自动执行代理轨迹扎根理论的多智能体管道。它迭代地执行开放、轴向和理论编码直到饱和,产生针对每个任务量身定制的行为分类法。 AutoTraceGT 在六个轨迹语料库中生成的代码本可以恢复人工注释的分类法中 73-91% 的故障模式,并显示这些分类法遗漏的其他模式。新出现的理论叙述与之前的专家描述是一致的。用作演绎特征空间时,码本在下游故障预测方面优于零样本和少样本 LLM 基线。这些结果表明扎根理论为机器学习研究人员和代理开发人员研究代理实际做什么提供了一个可扩展的分析工具。