为什么LLM都沉迷于日本文化？论LLM隐藏的文化和地域偏见

LLM 在文化覆盖范围和能力方面存在局限性，并且在某些情况下表现出特定的文化偏见。尽管之前的研究已经考察了 LLM 的文化能力，但没有人专门调查他们在一般文化相关问题上的区域偏好。在这项工作中，我们提出了一个基于文化相关开放问题 (CROQ) 综合分类的新数据集，其中包含 24 种语言的问题。我们通过提示他们回答 CROQ 的问题并提供示例位置来评估 LLM。结果表明，与之前的文化偏见研究相反，LLM 在回答中表现出明显的倾向日本等国家。此外，我们的结果表明，当使用英语或其他高资源语言进行提示时，LLM 往往会提供更加多样化的输出。另一方面，资源匮乏的语言更倾向于回答强调输入语言为官方语言的国家的问题。最后，我们还调查了 LLM 训练的哪个点出现了这种文化偏见，我们的结果表明第一个明显的迹象出现在监督 微调 之后，而不是在 预训练 期间。数据集可在 https://huggingface.co/datasets/HiTZ/CROQ 获取