论文
LLM 能理解创伤的影响吗？ LLM 对枪支暴力幸存者访谈进行编码的成本和收益
Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors
摘要
枪支暴力是一个紧迫的公共卫生问题，但对幸存者生活经历的研究仍然资金不足且难以规模化。包括深入访谈在内的定性研究是了解社区枪支暴力对个人和社会后果以及设计有效干预措施的宝贵工具。然而，通过主题分析和归纳编码来手动分析这些叙述是耗时且费力的。 大语言模型 (LLM) 的最新进展为自动化这一过程打开了大门，尽管人们仍然担心这些模型是否能够准确、合乎道德地捕捉弱势群体的经历。在这项研究中，我们评估了使用开源 LLM 对 21 名在社区枪支暴力中幸存下来的黑人进行归纳编码的采访。我们的结果表明，虽然 LLM 的某些配置可以识别重要代码，但总体相关性仍然较低，并且对数据处理高度敏感。此外，LLM 护栏导致大量叙事被删除。这些发现凸显了 LLM 辅助定性编码的潜力和局限性，并强调了在涉及边缘化社区的研究中应用人工智能的伦理挑战。