论文
关注树:科学批评中未说明限制提取的分层多主体辩论
Tree-of-Concerns: Hierarchical Multi-Agent Debate for Unstated-Limitation Extraction in Scientific Critique
摘要
随着科学文献的增长和论文越来越少地报道局限性,多智能体 LLM 提供了一种有前途的方法来系统地揭示这些隐藏的故障模式。在这里,我们引入了关注树,这是一个多智能体框架,它部署了专门的怀疑论者角色,每个角色都通过特定类别的分析镜头进行操作,作为并行的辩论树,以从科学论文中提取未阐明的局限性。每个角色都会进行结构化、以证据为基础的论证,而小组审查机制会从所有五个角度重新评估每个幸存的主张,以纠正类别漂移和严重性错误校准。通过在 ToC-Bench 上进行免检索的单篇论文实验,ToC-Bench 是我们对 414 篇研究论文进行的基准测试,其中有 1,905 项未明确的限制,这些论文来自审稿人报告的弱点和后续的引文评论,我们证明,相对于最强的基线,ToC 的精度提高了 79%,覆盖率提高了 11%,并提出了支持审稿人进行系统评估的具体的、基于证据的问题。