论文
MABPD:通过结构化论证辩论进行多主体偏见探测和检测
MABPD: Multi-Agent Bias Probing & Detection via Structured Argument Debate
摘要
新闻文章中的媒体偏见通过微妙的语言线索(负载语言、选择性框架和战略遗漏)发挥作用,这些线索抵制单一模型检测,并且传统上需要大型注释语料库进行监督训练。我们询问结构化多智能体审议是否可以作为此任务的监督分类的有原则的 无需训练 替代方案。我们引入了 MABPD(多代理偏见探测和检测),这是一个管道,其中三个专门的 LLM 代理从互补的角度分析文章,并通过结构化论证辩论 (SAD) 协议解决分歧。 SAD 实现了领域驱动的不对称举证责任——没有坚实文本证据的有偏见的主张权重为零——与角色加权投票和共识后验证相结合,用明确的审议结构取代了特定于任务的监督决策边界。 Ablation 证实,这种结构化审议(而不仅仅是代理并行性)可以提高性能:删除辩论模块可将 F1 降低多达 10.6 分。在 BABE 基准(4,121 个专家注释的句子)上,MABPD 在保留测试分割上实现了 83.4% 的宏 F1——在监督 SOTA 的 0.7 个百分点 (pp) 之内(MAGPIE,84.1% 宏 F1;Horych 等人,2024)——无需对注释数据进行任何特定于任务的训练或阈值调整。对 SemEval 2019 HyperPartisan 语料库(644 篇文章)进行的跨数据集评估产生了 75.0% 的零样本准确率,与监督 SOTA 准确率(82.2%;Kiesel 等人,2019)相差 7.2 pp,证实了跨注释机制的转移。我们发布了完整的流程和评估代码。