MetaSyn：LLM 代理对 Nature Portfolio 的荟萃分析文章的基准

系统评价和荟萃分析是科学研究的重要方法。它通过遵循标准和严格的协议（即 PI/ECO）结合多项独立研究的证据来全面研究目标研究问题。这对于促进跨多个领域的可靠和可持续的研究非常有价值，包括但不限于物理、化学、心理学和医学。传统的荟萃分析既费脑又费力，需要专业人员搜索、筛选和综合数以万计的研究，通常需要数月甚至数年的时间。人工智能的最新进展，特别是 LLM 代理，有可能显着自动化这一过程，但它们是否能够进行可靠的荟萃分析仍然未知。为此，我们推出了 MetaSyn，这是一个数据集和评估协议，由 422 项专家策划的荟萃分析构建而成，这些荟萃分析是从 Nature Portfolio 期刊上 34,000 多篇已发表的文章中手动选择的。我们收集了具有结构化资格标准的研究问题、原始审稿人包含的研究以及包含合格研究和看似合理但不合格的干扰项的共享 PubMed 锚定语料库，以构建综合分析基准。我们对多个 LLM 和基线方法的实验表明，现有的人工智能系统远非完美。我们还进行了阶段性评估和分析，以阐明为什么现有人工智能系统无法进行元分析。