论文

话题情绪会导致意识形态感知吗?比较政治新闻文章中的人类注释和 LLM 注释

Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles

模型评测模型能力评测

摘要

我们询问主题情绪是否对感知的政治意识形态有因果影响,以及答案是否取决于谁分配意识形态标签。使用来自 AllSides 的文章,结合来自 Llama-3.3-70b-versatile 的共享情感注释,我们比较了来自专家人类注释者、GPT-4o-mini(基线和微调)和 Llama-3.3-70B 的意识形态标签。我们在所有四种注释范例中应用了双机器学习 (DML) 和中介分析。零样本 LLM 经常会相对于人类注释夸大效应大小,而 微调 经常将它们减弱回到人类尺度。我们的结果对于使用 LLM 注释作为银标签和作为下游因果分析中人类判断的代理具有影响:它们对于恢复对党派主题的影响的存在和方向可能是可靠的,但不是它们的大小,导致对特定主题的某些意识形态的过度或低估预测。