Scout 的随机对照试验和试点：基于 LLM 的 EHR 搜索和合成平台

电子健康记录 (EHR) 中的临床文档和数据检索极大地增加了临床医生的工作量和倦怠。为了解决这个问题，我们开发了 Scout，这是一个基于 LLM 的 EHR 搜索和合成平台，使临床医生能够使用自然语言查询 EHR 数据。每个响应都包含将每个声明链接到原始数据源的引文，以便于轻松验证生成的内容。我们在 7 个临床专业（20 名受试者，200 个结构化病例）中进行了一项前瞻性随机、评估者盲法交叉试验。参与者仅使用 Scout 或 EHR 完成了现实的临床任务，结果包括完成时间、NASA 任务负荷指数工作量分数以及对准确性、完整性和相关性的盲法专家裁决。 Scout 将任务完成时间缩短了 37.6%，并显着降低了感知工作量，其中脑力需求、精力和时间需求的减少幅度最大。非劣效性分析表明，与仅使用 EHR 完成的任务相比，使用 Scout 完成的任务保持了准确性、完整性和相关性。针对 200 多名用户和 20 多个专业的并发试点部署在三个月内产生了 6,600 多次互动，揭示了不同的临床和管理用例。使用 LLM 作为判断框架的自动评估以较低的比率识别错误。随后对输出子集的人工审查显示，大多数被自动法官标记为错误的主张实际上得到了患者图表的支持，这证明了人工验证的重要性。这些发现提供了基于试验的早期证据，表明 LLM 支持的 EHR 工具可以有意义地减少临床和管理工作量，同时保持输出质量。