媒体偏差检测中的定义敏感性：多定义数据集和基准

媒体偏见检测依赖于指定什么算作偏见的定义和示例，但这些规范通常在不同数据集之间有所不同，或者即使名称相同，也仍然是隐含的。这种变化使得我们不清楚针对相同偏差类别训练的模型是否学习相同的结构或不同的现象，这是之前的工作中很大程度上被忽视的问题。我们在 354 名参与者的受试者间实验和四名 LLM 的平行评估中研究了定义选择如何影响偏差注释。参与者和模型使用概念框架和阐述不同的定义对四个偏见类别的六篇新闻文章进行评分。在 8,496 个人类和 28,800 个 LLM 评级中，我们发现定义的概念目标会导致注释分歧，而结构保留的阐述则不会：概念框架会显着改变人类的注释，对于 LLM 的影响甚至更大。我们讨论了注释协议和基于提示的测量中的构造规范的影响，并考虑定义敏感性如何传播到媒体偏差之外的下游分类。我们还发布了 MUDD，即多定义偏差检测数据集。