论文
ClinEnv:面向智能体的交互式多阶段长程EHR环境
ClinEnv: An Interactive Multi-Stage Long Horizon EHR Environment for Agents
摘要
临床实践并不是从列举的选项中选择答案:医生逐渐收集异构信息,并在不确定的情况下做出连续的、不可逆转的决定。静态基准无法探测,现有的交互式医疗基准至少会在其中一个基准上做出妥协。我们提出了 ClinEnv,一个交互式基准,在我们称之为纵向住院模拟的范式下评估大语言模型作为主治医生与真实住院患者的入院情况。每个案例都会自动构建成决策阶段的有序序列;在每个阶段,模型在进行药物治疗、手术和诊断之前都必须主动询问四名专业Agent。 ClinEnv 通过基于本体的确定性匹配对模型决定的内容以及收集信息的方式进行评分。在七个模型中,最强的模型仅达到 0.31 的决策 F1,并且结果质量与过程质量急剧脱钩。困难集中在管理决策和后期阶段,其中模型恢复出院诊断的可靠性远高于管理操作(0.51 vs. 0.17 F1),并随着病例的进展继续发出冗余查询。 ClinEnv 使这种信息获取差距(对于仅结果评估来说是不可见的)可以直接测量。
