Polar：LLM 中评估政治偏见的基准

大语言模型 (LLM) 中的政治偏见越来越显着，但很难在政治和语言背景下进行重复测量。我们引入了 Polar，这是一个包含 4,026 个实例的多项选择基准，它通过选项级别的可能性而不是基于提示的生成来衡量政治偏见。 Polar 涵盖源自宣言项目的两个意识形态轴心和八个问题类别，并在美国和韩国的政治背景下并行评估模型。在 38 个 LLM 中，测量的偏差随政治背景、问题类别、模型组和演示语言的不同而系统地变化。所有模型在美国政治内容上都倾向于左翼进步，但在韩国内容上则表现出更加集中和混合的模式。翻译实验进一步表明，仅表达语言就可以改变测量到的偏见。这些发现凸显了对 LLM 中的政治偏见进行多语言和跨情境评估的必要性。