滑块：通过自动证据合成和协调进行系统审查

系统评价是金融、社会科学和其他技术领域的基础，需要从大型文档库中收集和综合全面的证据，以回答有针对性的研究问题。手动构建证据表是劳动密集型的，并且最近基于 LLM 的助手依靠嵌入或基于关键字的搜索通常无法满足系统评价的覆盖标准。我们引入了 SLIDERS，这是一种基于 LLM 的新颖的系统评价方法，通过自动组装针对研究问题定制的证据表。除了从文档中提取结构化数据之外，SLIDERS 还可以提取全文摘录，作为直接证据或结构化数据的出处。 SLIDERS 的核心是一个自动证据协调代理，它编写代码来分析和协调提取的证据，将文档中分散的信息汇集在一起​​，解决摘录之间的不一致问题，并将重叠的发现合成到一个连贯的证据表中。此外，SLIDERS 允许用户用自然语言提出后续问题，以进一步探索收集到的证据。我们在大型文档集合上的三个系统评审式任务上评估 SLIDERS。 SLIDERS 在基准测试中优于表现最佳的基线，在 6M-11M 词元语料库中保持接近 90% 的准确度。在两个新的后续分析基准上，SLIDERS 可以准确回答 77.9% 和 58.3% 的后续问题