论文
当越大并不越好:多新闻摘要中政治偏见的综合公平性评估
When Bigger Isn't Better: A Comprehensive Fairness Evaluation of Political Bias in Multi-News Summarisation
摘要
多文档新闻摘要系统因其处理大量日常新闻内容的便利性而被越来越多地采用,这使得不同政治观点的公平性变得至关重要。然而,这些系统可能会因观点的不平等代表性、对某些观点的过分强调以及少数群体声音的系统性代表性不足而表现出政治偏见。本研究使用 FairNews(带有政治倾向标签的完整新闻文章数据集)对多文档新闻摘要中的此类偏差进行了全面评估,研究了 大语言模型 (LLM) 如何在 13 个模型和 5 个公平性指标中处理具有不同政治倾向的来源。我们研究了基线模型的性能和各种去偏干预措施的有效性,包括基于提示和基于判断的方法。我们的研究结果挑战了较大模型产生更公平输出的假设,因为中型模型始终优于大型模型,提供了公平性和效率的最佳平衡。事实证明,基于提示的去偏差高度依赖于模型,而实体情绪则成为最顽固的公平维度,抵制所有经过测试的干预策略。这些结果表明,多文档新闻摘要的公平性需要多维度的评估框架和有针对性的、架构感知的去偏,而不是简单地扩大规模。