论文

ControBench:社交网络上有争议的话语分析的交互感知基准

ControBench: An Interaction-Aware Benchmark for Controversial Discourse Analysis on Social Networks

模型评测基准与评测资源

摘要

了解人们如何在网上争论意识形态分歧对于研究政治两极分化、错误信息和内容审核非常重要。现有的数据集只捕获了这个问题的一部分:一些保留了文本但忽略了交互结构,一些模型结构没有丰富的语义,还有一些表示没有稳定的用户级意识形态身份的对话。我们引入了 ControBench,这是一个有争议的话语分析基准,它将异构社交交互图与丰富的文本语义相结合。 ControBench 基于特朗普、堕胎和宗教这三个主题的 Reddit 讨论而构建,包含 7,370 名用户、1,783 条帖子和 26,525 次互动。该图包含通过语义丰富的边连接的用户和帖子节点;特别是,用户-评论-用户边缘对回复及其响应的父评论进行编码,从而保留本地争论上下文。用户标签源自自我声明的 Reddit 风格,为意识形态身份提供可扩展的代理,无需手动注释。所得数据集表现出低或负调整同质性(特朗普:-0.77,堕胎:0.06,宗教:0.04),反映了现实世界辩论的跨领域结构。我们在 ControBench 上评估图神经网络、预训练语言模型和 大语言模型,并观察跨主题和模型系列的不同性能模式,特别是当意识形态界限不明确时。这些结果使 ControBench 成为争议性话语分析的具有挑战性且现实的基准。