论文

AutoSynthesis:面向自动化元分析的多智能体系统

AutoSynthesis: An agentic system for automated meta-analysis

应用与实践科学研究

摘要

证据综合是把原始研究转化为可靠知识的关键——服务科学、医学、教育与政策。但定量证据综合仍在很大程度上是人工的且难以规模化。我们介绍AutoSynthesis:一个面向自动化元分析的端到端多智能体系统。给定自然语言研究问题,AutoSynthesis制定检索策略、检索科学文献、筛选候选研究、评估全文资格、抽取定量统计、计算标准化效应量,最终执行随机效应元分析。AutoSynthesis进一步支持异质性分析——考察效应量如何跨调节变量变化——以及偏倚风险评估。作为输出,AutoSynthesis产出与PRISMA指南对齐的透明报告。在我们的应用中:AutoSynthesis筛选了超过28项研究并抽取20多个定量论断。AutoSynthesis产出的合并效应估计与专家实施的元分析之Hedges' g相似——表明与人工证据综合高度一致。综合来看,结果证明AutoSynthesis能使定量证据综合更可规模化——支撑跨学科的循证决策。

AutoSynthesis:面向自动化元分析的多智能体系统:论文配图
图 1:AutoSynthesis 框架概述。多代理框架包括: a、工作流程首先将用户的研究问题转换为结构化审查协议,并使用大语言模型生成的搜索查询从多个科学数据库中检索候选研究。 b,检索到的文章经过全文检索、资格评估和研究映射,其中每篇论文中都确定了独立研究和研究问题。 c,提取统计证据,根据源文章进行验证,并进行过滤以仅保留与目标荟萃分析相关的结果,然后将其标准化为通用表示。 d,使用随机效应荟萃分析综合标准化效应量,然后进行发表偏倚评估并自动生成符合 PRISMA 标准的报告以及可视化和完整的审核记录。模块化架构使证据合成过程的每个阶段都能得到独立检查、验证,并与专家进行的荟萃分析进行比较。