论文

EviSearch:使用随使用而改进的药物,可靠地提取和合成临床试验证据

EviSearch: Trustworthy Extraction and Synthesis of Clinical Trial Evidence with Agents that Improve with Use

智能体系统Agent 架构与控制循环

摘要

从临床试验出版物中结构化提取证据是系统评价和临床指南的基础,但 大语言模型 的采用只是犹豫不决:它们的输出难以验证,它们的使用通常需要将文档传输到专有服务,并且它们不会从用户所做的更正中得到改进。我们提出了 EviSearch,一个解决这三个障碍的多代理系统。三个具有对出版物的互补访问权限的工具增强代理会提取证据表的每一列,并且只有在属性验证者在其引用的页面上读取该值后才允许该值,因此每个值都带有页面级属性。独立代理之间的分歧将人工审查引导到最有可能出错的单元,并且审查者的反馈完善了模式定义和管理知识库,而无需更新模型参数。代理系统在开放权重模型上完全离线运行。在临床医生注释的随机试验出版物基准上,EviSearch 归因于其值的 100.0%,自主达到 91.70% 的准确率,在审查 15.6% 的细胞后达到 95.22%,比同等努力下最强单药的随机审查高出 1.75 个百分点。