论文
通过 Human-LLM 协作构建可扩展且文化特定的刻板印象数据集
Scalable and Culturally Specific Stereotype Dataset Construction via Human-LLM Collaboration
摘要
由于缺乏其他语言的数据集以及在代表性不足的文化中手动注释的成本高昂，大语言模型（LLM）中的刻板印象研究主要集中在英语环境中。为了解决这一差距，我们引入了一种经济高效的人类 LLM 协作注释框架，并将其应用于构建 EspanStereo，这是一个跨越欧洲和拉丁美洲多个西班牙语国家的西班牙语刻板印象数据集。 EspanStereo 既捕捉了先前文献中记录充分的刻板印象，又捕捉到了以英语为中心的资源中所缺乏的特定文化偏见。使用 LLM 生成候选刻板印象并使用文化注释器来验证它们，我们证明了该框架在识别细微的、特定于区域的偏见方面的有效性。我们使用 EspanStereo 对西班牙语支持的 LLM 进行的评估揭示了不同国家之间刻板行为的显着差异，强调了进行更加基于文化的评估的必要性。除了西班牙语之外，我们的框架还适用于其他语言和地区，为实现多语言刻板印象基准提供了可扩展的路径。这项工作拓宽了LLM中刻板印象分析的范围，并为全面的跨文化偏见评估奠定了基础。