论文
宗教表征中的遗漏偏见:日常道德决策的基准 LLM 答案
Omissive Bias in Religious Representation: Benchmarking LLM Answers to Everyday Ethical Decision-making
摘要
随着 大语言模型 成为个人、道德和存在问题的默认指导来源,它们是否借鉴历史上塑造此类推理的宗教框架,或者系统地省略它们,这一点很重要。在本文中,我们故意提出一个狭隘的问题:当提出宗教观点可能有价值的日常道德问题时,LLM 是否会援引宗教?与寻找是否存在政治倾向或社会偏见的基准相反,我们在 LLM 中寻找宗教代表性的缺失作为价值取向和偏见的一个维度。我们将这种现象称为“遗漏偏见”。为了衡量遗漏偏见,我们贡献了 AllFaith 宗教代表性基准:150 个道德和个人方面的突出问题,这些问题来自野外聊天记录和信仰社区贡献者,并搭配 LLM 作为评判标准,对任何提及宗教、宗教活动或宗教领袖的行为给予充分评价。这些问题本身并不是关于宗教的——它们是关于悲伤、宽恕、人际关系、目的和诚实的开放式问题,其中宗教是其中几个有价值的观点之一。我们还进行了一项人类受试者调查,以将 LLM 行为与人类期望进行比较。通过评估 27 个模型,我们发现 LLM 相对于人类期望始终低估宗教。这种遗漏是不对称的:模型更容易在抽象的存在问题(意义、死亡、真理)上援引宗教,而不是在实际的个人情况下——悲伤、婚姻、家庭冲突、成瘾——而许多人最依赖宗教。我们的目的不是决定 LLM 应该保留哪些值。我们更谦虚地认为,当前的 LLM 回应忽视了反映许多人在应对个人和道德挑战时所利用的宗教框架的关键机会。