大语言模型对一些政党的困惑

大语言模型 (LLM) 的使用越来越多，包括在政治应用中，但其政治公平性却很少被研究。我们使用困惑度对其进行评估，认为公平的模型应该为所有政治团体提供相同的概率。然而，我们发现，在十个 LLM 和涵盖 37 种语言的三个数据集中，LLM 对极右翼和民族主义政党的文本比对社会民主党的文本更感到困惑。我们发现这与之前关于翻译公平性的工作是一致的，以至于困惑度与下游翻译指标相关。我们的方法适用于基础 LLM 以及它们的指令调整对应物，并且我们发现两者高度相关，这表明 LLM 的政治公平性源于它们的预训练，并且几乎不受指令调整的影响。