未找到位置：暴露多语言中隐含的本地和全球偏见 LLM

多语言大语言模型（LLM）最大限度地减少了语言之间的流畅性差距。然而，这一进步使模型面临有偏见行为的风险，因为知识和规范可能会跨语言传播。在这项工作中，我们的目标是通过模型回答语言环境模糊问题的能力来量化模型的语言间和语言内偏差。为此，我们推出了 LocQA，这是一个包含 12 种语言的 2,156 个问题的测试集，涉及各种与语言环境相关的事实，例如法律、日期和测量值。除了查询语言本身之外，这些问题不包含与其相关的区域设置的指示。 LLM 对 LocQA 语言环境模糊问题的回答揭示了模型的隐含先验。我们使用 LocQA 评估了 32 个模型，并检测到了两种类型的结构偏差。在语言间，我们对与美国语言环境相关的答案表现出全球偏见，即使是用英语以外的语言询问模型时也是如此。此外，我们发现，与基础模型相比，经过指令调整的模型中这种全局偏差更加严重。在语言内，我们表明，当多个语言环境与同一种语言相关时，模型充当人口统计概率引擎，优先考虑人口较多的语言环境。总而言之，LocQA 的见解可能有助于塑造 LLM 所需的本地行为，并量化不同训练阶段对不同类型偏差的影响。