设计可审计的大语言模型辅助定性主题分析工作流

大语言模型 (LLM) 为扩展定性分析提供了新的可能性，但现有应用程序通常在如何将定性方法转化为计算过程方面提供有限的方法透明度。本文提出了归纳和潜在主题分析（TA）的可审计和隐私保护的计算操作。本文首先从TA的方法论要求和基于LLM的推理引入的条件中推导出五个设计原则：保留解释性上下文、维持经验材料和分析输出之间的可追踪关系、明确地表示分析结构和推理、将LLM推理限制于解释性任务以及实现保护隐私的本地部署。其次，它提出了两阶段工作流程的概念验证，该工作流程通过将解释性LLM推理与确定性程序控制相结合来生成代码、分析理由、主题和主题描述，同时保留与源材料的明确链接，从而实现这些原则。第三，提出了一个将结构比较与人工主导的技术分析和独立专家分析质量评估相结合的评估框架。评估是根据半结构化的丹麦访谈笔录进行的。结果表明，该工作流程产生的代码级输出的覆盖范围与人工注释和高度评价的分析理由大致相当，同时生成更压缩的主题结构，其特征是更少和更广泛的主题。研究结果证明了可审计的LLM支持的TA通过模块化工作流程的可行性，该工作流程旨在扩展到更大的数据集，适应不同的LLM，并支持跨研究领域的转移，领域适应主要需要调整提示策略。