论文

LLM 如果询问,则反映特定国家/地区的性别模式,但在以当地语言生成媒体时偏向男性

LLMs Mirror Country-Specific Gender Patterns If Asked, but Skew Male When Generating Media in Local Languages

模型评测鲁棒性、公平性与可信度评测

摘要

大语言模型 (LLM) 越来越多地用于生成媒体,但其内容是否延续性别刻板印象尚不清楚:标准基准依赖于基于选择的格式而不是长格式生成,并且在西方以外地区很少有当地性别协会的调查基线。我们从美国、印度、肯尼亚和尼日利亚的 695 名受访者那里收集了 22 种职业和家庭角色的性别关联,并在两种制度下评估了 8 个 LLM:直接提问和媒体生成。模型在直接提问下追踪了所调查的关联,但在主要本地语言单元的媒体生成中偏向了更多的男性,这与人类制作的媒体中记录的男性偏见一致。在美国以外的地区,在英语提示下,这种转变要小得多且不显着,因此仅英语或与国家/地区无关的评估会忽略这些模型最常部署的语言中的这种偏差。指令提示减少了方向性的转变,但会损害与被调查协会的一致性。因此,评估全球部署的 LLM 性别偏见需要生成格式测试、本地语言提示和本地收集的人类基线。