论文

认识不是逆转:保留事实的新闻框架的受控倒置测试

Recognizing Is Not Reversing: A Controlled Inversion Test of Fact-Preserving News Framing

模型评测模型能力评测

摘要

大语言模型 (LLM) 越来越多地用于分析和重写新闻,但当前的框架研究主要评估生成、检测或重写的文本是否显得更中性。它们没有直接表明模型是否可以在保持事实固定的情况下撤消已知的框架转换。我们对三种已建立的框架文本实现引入了受控反转测试:评估词汇、代理实现和信息显着性。通过 60 篇新闻文章和三种干预优势,这产生了 540 个配对变体,并保留了原子事实和记录的编辑。在 Qwen、DeepSeek 和 Kimi 中,事实保留率仍接近 0.84,而干预逆转率为 0.044--0.068。即使正确识别了框架类型和方向,合并反转也达到 0.071。这些结果揭示了事实保真度、框架识别和框架倒置之间的明显区别:识别文章的框架并不意味着框架可以被撤销。