论文
多智能体推理与自适应工人分配用于立场检测
Multi-Agent Reasoning with Adaptive Worker Allocation for Stance Detection
摘要
立场检测需要识别作者对目标的立场,通常来自立场是隐含的、间接的或修辞性框架的简短文本。尽管 大语言模型 (LLM) 在此任务中取得了出色的性能,但当多种解释可能时,单遍提示可能会很脆弱。现有的聚合策略(例如多数投票或自我一致性)通过组合标签来提高鲁棒性,但它们放弃了解决冲突解释所需的中间推理。我们引入了一种多代理推理框架,具有用于立场检测的自适应工作分配,将聚合从标签级投票转变为推理级综合。该框架采用管理器-工作器架构,其中管理器根据输入复杂性自适应地分配可变数量的工作器代理。每个工人从不同的角度分析输入,并产生仅推理的解释,而不发出立场标签;然后,管理器综合这些解释以产生最终的预测。我们使用 Llama、Mistral 和 Gemini 评估 SemEval-2016、P-Stance 和 COVID-19 Stance 上提出的框架。结果表明,该框架在隐式和上下文相关的立场案例上产生了最大的收益,在 COVID-19 上达到 86.07 Macro-F1,在 SemEval-2016 上达到 82.90,同时在 P-Stance 等更明确的立场数据集上保持竞争力。这些发现表明,当无法仅从表面线索可靠地推断出立场时,自适应推理级别聚合是最有益的。