论文

谁的故事被讲述? LLM 生活叙事摘要中的立场和偏见

Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives

模型评测鲁棒性、公平性与可信度评测

摘要

越来越多的研究正在探索使用 大语言模型 (LLM) 来加速或扩展文本数据的定性分析。虽然我们可以直接将 LLM 与人类标签的准确性进行比较,以进行演绎编码或标记文本,但判断在归纳主题分析等抽象方法中使用 LLM 的道德和有效性更具挑战性。我们与心理学家合作研究 LLM 对人类生活故事的抽象主张,询问,使用 LLM 作为意义的解释器如何影响研究的结论和观点?我们提出了一种基于总结的管道,用于消除 LLM 在解释这些生活故事时可能采用的观点采择偏差。我们证明,我们的管道可以识别可能造成代表性损害的种族和性别偏见。最后,我们鼓励在未来的研究中使用这种分析,这些研究涉及基于 LLM 的对研究参与者的书面文本或转录语音的解释,以描绘研究的立场肖像。