论文
构建叙事:大语言模型中的意识形态模仿
Framing the Narrative: Ideological Mimicry in Large Language Models
摘要
大语言模型 (LLM) 越来越多地用于回答有关政治争议问题的问题,但评估通常将模型的立场视为相对稳定的属性。然而,真正的用户通过他们的术语、假设和个人背景来传达政治信号。我们研究这些信号是否会产生意识形态模仿:大语言模型所表达的政治立场向互动所传达的立场发生系统性转变。如果大语言模型根据这些信号调整自己的反应,他们就会面临创建个性化政治信息环境的风险,在这种环境中,持相反观点的用户会收到对同一问题的系统性不同的描述,从而可能会加剧现有的分歧。我们构建了 Poli-SHIFT 数据集和评估框架,并评估了美国、英国和澳大利亚十个有争议政治主题的七名开放权重大语言模型,系统地操纵有争议的术语、政治前提和用户信息,并以多项选择和开放文本格式引出回答。在各个模型中,我们发现了强有力的证据,表明框架塑造了大语言模型输出的政治立场。仅改变术语就可以扭转模型在 16.9% 的匹配比较中支持问题的哪一方。既定的政治意识形态也会系统地改变对用户立场的反应。这些发现表明,政治立场并不是大语言模型的固定资产;所表达的观点取决于与用户的互动。随着大语言模型成为越来越个性化的信息来源,这种依赖于交互的适应可能有助于形成强化用户现有观点的政治信息环境。