论文
Agent-as-Peer-Debriefer:面向质性分析、基于视角细化的多智能体框架
Agent-as-Peer-Debriefer: A Multi-Agent Framework with Perspective-Based Refinement for Qualitative Analysis
摘要
大语言模型(LLM)越来越多地被用于质性数据分析(QDA),但其输出常常缺乏人类分析的深度与细微差别。我们认为这一差距反映了人类质性数据分析中缺失的一种可信度实践:同行汇报(peer debriefing),即分析者向无利害关系的同行征求反馈并据此改进自己的编码。为将这一实践引入LLM辅助的质性数据分析,我们提出Agent-as-Peer-Debriefer,一个将同行汇报嵌入关键编码步骤的多智能体质性数据分析框架。在我们的框架中,分层编码智能体(Hierarchical Coding Agent)遵循标准质性数据分析流程生成编码、子主题和主题,并附带自我解释与反思备忘录。随后它将这些输出分享给三个同行汇报智能体(Peer-Debriefing Agent),每个智能体应用一种不同的分析视角(理论驱动、数据驱动或应用导向),并通过保留、重命名、重新分配、合并或拆分来细化编码。这些视角源自成熟的人类质性数据分析实践,可跨领域和跨数据集泛化。为评估该框架,我们在两个领域的三个数据集上用三个LLM进行测试,衡量与人工标注编码的语义相似度。在所有设置中,基于视角的同行汇报细化都比单LLM基线更贴近人工编码,消融实验进一步表明收益并非仅仅来自额外的细化。三种视角还产生了不同的权衡,表明视角的选择是一个有意义且可控的设计决策。更广泛地说,这些发现表明,以显式视角模拟同行汇报是实现更可信的LLM辅助质性数据分析的一条有前景的路径。
