论文

闪亮的故事,隐藏的斗争:通过 LLM 的镜头调查残疾的表现

Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs

模型评测鲁棒性、公平性与可信度评测

摘要

现代 大语言模型 (LLM) 最近因其模拟人类行为并生成反映人物角色和人口群体的文本的能力而备受关注。虽然这些功能可以在各个领域开辟多种不同的应用程序,但研究这些模型如何代表不同的目标群体至关重要,因为 LLM 可能会延续和放大对历史上边缘化社区的偏见或歧视,或者,由于消除偏见的努力,会通过描绘过于积极的刻板印象而过度纠正。这种过度补偿会使这些群体理想化,消除他们面临的复杂性和挑战,转而进行不切实际的描述。在本文中,我们通过模拟残疾人在生成社交媒体帖子时的观点来研究 LLM 如何代表残疾。然后将这些帖子与真实残疾人撰写的帖子进行比较,重点关注情绪基调、情感以及代表性词语和主题。我们的分析揭示了两个关键发现:(1)LLM 经常将残疾人的经历理想化,产生过于积极的刻板印象,尽管看起来令人振奋,但无法真实地捕捉他们的生活现实; (2) 对模拟残疾人和非残疾人的帖子的比较分析突显了一种负面偏见,其中某些主题(例如职业和娱乐)与非残疾人不成比例地相关。这强化了对残疾的排斥性叙述和过度理想化的描述,歪曲了这个社区面临的实际挑战。这些发现与更广泛的关注和正在进行的研究相一致,表明 LLM 努力反映社会的多样化现实,特别是边缘化群体的微妙经历,并强调需要对他们的表述进行严格审查。