论文
谁的故事被讲述? LLM 生活叙事摘要中的立场和偏见
Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives
摘要
越来越多的研究正在探索使用 大语言模型 (LLM) 来加速或扩展文本数据的定性分析。虽然我们可以直接将 LLM 与人类标签的准确性进行比较,以进行演绎编码或标记文本,但判断在归纳主题分析等抽象方法中使用 LLM 的道德和有效性更具挑战性。我们与心理学家合作研究 LLM 对人类生活故事的抽象主张,询问,使用 LLM 作为意义的解释器如何影响研究的结论和观点?我们提出了一种基于总结的管道,用于消除 LLM 在解释这些生活故事时可能采用的观点采择偏差。我们证明,我们的管道可以识别可能造成代表性损害的种族和性别偏见。最后,我们鼓励在未来的研究中使用这种分析,这些研究涉及基于 LLM 的对研究参与者的书面文本或转录语音的解释,以描绘研究的立场肖像。