论文
大语言模型经济因果推理中的意识形态偏见
Ideological Bias in LLMs' Economic Causal Reasoning
摘要
大语言模型(LLM)在推理经济因果效应时是否会表现出系统性的意识形态偏见?随着LLM越来越多地被用于政策分析和经济报道——在这些场景中方向正确的因果判断至关重要——这一问题具有直接的现实意义。我们通过在EconCausal基准上扩展意识形态争议案例来进行系统性评估——所谓意识形态争议案例,是指干预导向(亲政府)与市场导向(亲市场)两种视角预测出不同因果符号的实例。从源自顶级经济学与金融学期刊的10,490个因果三元组(具有经验验证效应方向的处理-结果对)中,我们识别出1,056个意识形态争议实例,并评估了20个最先进LLM预测经验支持的因果方向的能力。我们发现,意识形态争议项始终比非争议项更难,并且在20个模型中的18个上,当经验验证的因果符号与干预导向预期一致时,准确率系统性地高于其与市场导向预期一致的情况。此外,当模型出错时,其错误预测不成比例地偏向干预导向,而且这种方向性偏斜无法通过单次上下文提示(one-shot in-context prompting)消除。这些结果表明,LLM不仅在有意识形态争议的经济问题上准确率更低,而且在其中一个意识形态方向上系统性地不如另一个方向可靠,凸显了在高风险经济与政策场景中进行方向感知评估的必要性。
