隐藏的优势：在 LLM 中揭示以本地语言获取文化知识

大语言模型 越来越多地用于回答跨语言的文化问题，但目前尚不清楚通过英语还是通过当地语言更好地获取当地文化知识。现有的评估面临两个关键限制：许多评估依赖于基于并行模板的问题，这些问题可能无法反映文化知识自然出现的方式，而原始准确性将一般语言熟练程度与语言条件知识获取混为一谈。我们通过一个基于从区域基准和当地来源收集的现实世界文化问题构建的受控框架来解决这些问题。通过将问题类型（文化不可知论与文化特定）与查询语言（英语与本地语言）交叉，并使用共享的 1PL 项目响应理论模型估计能力，我们将熟练程度与本地化知识访问分开。在 13 个语言环境和大约 80 个模型中，我们发现在与文化无关的问题上英语始终具有优势，这表明英语水平更强。然而，在考虑到这种熟练程度差距后，本地语言在几乎所有语言环境模型设置中都显示出积极的知识获取优势。这种优势通常被原始准确性所掩盖，但对于前沿、区域一致或语言适应模型来说变得更加明显。我们的结果表明，本地语言表现较弱并不一定意味着文化知识较弱；相反，通过当地语言可能更容易获得当地文化知识，但由于语言能力有限而被隐藏。