论文
从论证成分到图:具有论证关系置信门控的多智能体辩论
From Argument Components to Graphs: A Multi-Agent Debate with Confidence Gating for Argument Relations
摘要
大语言模型(LLM)凭借其强大的通用推理能力,越来越多地在论证挖掘(AM)领域得到评估和使用。然而,标准 无需训练 模型经常会错过复杂的细节,特别是在必须一起分析文本的两个部分的情况下。此外,自我纠正机制往往会强化最初的推理幻觉。克服这些限制通常需要昂贵的、特定领域的监督 微调。最近的工作表明,多智能体范式可以通过支持者-反对者-判断架构的辩证细化来解决组件分类任务的此类弱点,为该领域的 无需训练 方法设定了一个有前途的方向。在本文中,我们在论证关系识别和分类(ARIC)任务上扩展和评估了这个框架,将其重新表述为关于组件对的辩论。除此之外,我们引入了一种置信门机制,可以仅对不确定的情况进行辩论,并在置信度较高时接受初始预测。在 UKP Argument Annotated Essays v2 语料库上,我们证明选择性辩论在所有 无需训练 方法中实现了最高的 Macro F1,而对所有样本的辩论将性能降低到低于其中一个基线的性能。所有生成方法在 Macro F1 上的性能也优于经过微调的 RoBERTa 模型,这表明 Attack 类的代表性不足对监督 微调 的破坏性比对纯推理模型的破坏性更大。此外,我们的框架生成人类可读的辩论记录,提供单代理和监督分类器所缺乏的可解释性。