用QualAnalyzer实现过程可审计性：面向定性研究的原子化LLM分析工具

摘要

大型语言模型越来越多地被用于定性数据分析，但许多工作流程掩盖了分析结论是如何产生的。我们提出QualAnalyzer，一个面向Google Workspace的开源Chrome扩展，它通过独立处理每个数据片段并保留每个单元的提示词、输入和输出，支持原子化的LLM分析。通过两项案例研究——整篇作文评分和对访谈转录文本的演绎式主题编码——我们表明这种方法创建了清晰可读的审计轨迹，并帮助研究者考察LLM判断与人类判断之间的系统性差异。我们认为，过程可审计性对于让LLM辅助的定性研究更加透明、方法上更加稳健至关重要。

用QualAnalyzer实现过程可审计性：面向定性研究的原子化LLM分析工具：论文配图 — 图 3：QualAnalyzer 中的原子分析工作流程。每行代表一个分析单元（数据），具有可选的上下文字段（上下文 1-2）。 QualAnalyzer 将这些字段连接到预定义的提示模板中，迭代运行模型（逐行和逐个输出），并将响应写回结构化输出列（例如，分数和基本原理）。该表格模式支持可重复运行、并排模型比较和下游验证。两种标题样式说明了支持的输入格式：（顶部，红色）每个完整文档（例如，学生论文）一行和（底部，灰色）较长源的分块分析，其中单个记录被分段，每个成绩单块都是独立编码的。