论文
多测试国家偏差评测:以联合国投票行为定义显式参考基线
Multi-Test Nation Bias Benchmarking of LLMs with Explicit Unbiased Baselines
摘要
既有研究指出,大语言模型(LLM)中系统性的国家层面偏差,可能给国际关系(IR)应用带来运行风险;但许多评估仍缺乏明确定义的无偏参照(真值),限制了充分量化及跨设置的测量。本文利用包含722份联合国安理会(UNSC)官方记录的扩展语料,通过五项互补测试衡量国家层面的偏差,将既有方法扩展至更多偏差表达渠道:意见排序(WOW)、关联排序(AK+-)、投票模拟(PVS)、反对归因(F-Oppose)和叙事框架(Headliner)。为使偏差评估有明确依据,作者为每项测试显式定义无偏状态;尤其对难以规定真值的 WOW 和 AK+-,提出从可观测投票行为推导、基于行动的伪无偏状态,以构建可量化基线。针对安理会五个常任理事国,评测 GPT-4o-mini、Llama 3.3-70B、Mistral-22B-Small 和 Qwen3-30B 四个 LLM 后,发现跨测试的共同宏观模式:相对于各测试所定义的参照基线,模型输出对中国和俄罗斯偏向反对(红色)一侧,对英国、美国和法国偏向支持(蓝色)一侧。结果强调,应使用有明确依据、关联显式参照点的多测试基准,审计面向国际关系的 LLM 部署。
