论文

LLM对娱乐新闻更持怀疑态度吗?

Are LLMs More Skeptical of Entertainment News?

模型评测鲁棒性、公平性与可信度评测

摘要

大语言模型(LLM)越来越多地用于自动化新闻可信度评估,但它们是否对各类新闻体裁一视同仁仍不清楚。我们利用FakeNewsNet中GossipCop数据集的同数据集内设计,考察零样本LLM是否比正当硬新闻更容易把正当娱乐新闻误判为假新闻。在四个前沿模型中,我们发现明显但因模型而异的体裁不对称:DeepSeek-V3.2和GPT-5.2的假阳性率差距分别为10.1和8.8个百分点(均 $p < .001$),而Claude Opus 4.6和Gemini 3 Flash没有可比差异。风格互换实验只产生有限且不一致的变化,表明这种不对称不能仅归结为文体语域差异。基于提示词的缓解同样可行但并非通用:将模型设定为娱乐新闻事实核查员可使DeepSeek-V3.2的假阳性降低约50%且未检测到召回损失,但对GPT-5.2几乎没有改善。探索性定性编码进一步提示,抽样的假阳性中存在两种反复出现的错误模式:将私生活声称视为本质上不可验证,以及将娱乐新闻贬低为认识论上较弱的体裁。综合来看,这些发现表明总体性能指标可能掩盖正当新闻业内部结构化的假阳性。我们认为,基于LLM的可信度评估可能不仅在评估真伪声称,还在差别化地认定新闻体裁的正当性,因此评估应将体裁分层的假阳性分析与总体准确率一并纳入。