论文
EviStreams:用于医学系统评价的人机交互人工智能数据提取
EviStreams: Human-in-the-Loop AI Data Extraction for Systematic Reviews in Medicine
摘要
系统审查是临床指南的基础,但其数据提取步骤是受协议工作流程限制的主要专家劳动力瓶颈:两名审查员独立提取每项研究,一名裁决员解决分歧,团队保留每个值如何产生的可审计记录。大型语言模型可以协助提取,但这种协助必须符合既定的审查协议并保持可重复性。我们推出了 EviStreams,一个实时、开源、无代码的网络平台,让审核团队在三个关键阶段控制人工智能辅助提取:程序设计(在任何代码运行之前批准的结构化分解)、字段规范(从试点中校准的键入字段定义)和提取的预测(审核员盲态双重审核与裁决)。通过表单构建器,领域专家定义键入字段而不是提示,对上传的 PDF 进行提取,检查每个值及其来源的支持段落,并将审阅者盲态双重审阅解决为可审计的共识导出。随系统发布的对四个临床语料库和三个前沿模型系列的评估表明,提取质量更多地取决于领域规范,而不是模型的选择。 EviStreams 在此 https URL 上运行,并在 Apache-2.0 下发布。