论文
MedAction:迈向主动多轮临床诊断 LLM
MedAction: Towards Active Multi-turn Clinical Diagnostic LLMs
摘要
大多数现有的 LLM 诊断都是在静态、单轮设置上进行评估,其中预先提供完整的患者信息,这对实际临床实践来说过于简单化。我们研究主动诊断:现实生活中的临床过程,从最初的观察开始,安排测试,解释结果,并在多个回合中更新鉴别诊断。通过系统分析,我们确定了当前 LLM 中三种反复出现的故障模式:不可靠的测试顺序、不可靠的诊断更新和多轮一致性降低。总之,这些失败揭示了一个核心缺陷:现有的医学训练数据教会模型根据完整信息进行推理,但不能根据不断发展的部分证据采取行动。为了解决这一差距,我们引入了 MedAction,这是一种树形结构的 蒸馏 管道,可通过 LLM 环境交互来合成多样化且高质量的多轮诊断轨迹。我们提出了两种基于知识图谱的指标来过滤轨迹质量:疾病轨迹一致性(DTC),它跟踪模型的假设是否收敛到正确的诊断;以及推理行动一致性(RAC),它验证信念更新是由收集的证据驱动的。使用此流程,我们构建了 MedAction-32K,这是一个包含来自 2,896 个 PMC 病例的 32,681 个轨迹的数据集。 MedAction-32K 上的 微调 8B 模型在 MedR-Bench 和我们策划的 MedAction-300-Hard 基准测试上实现了开源模型中最先进的性能,推动了开源医疗 LLM 的优势。