大语言模型 中临床决策路径依从性的基准测试

遵循临床实践指南定义的临床决策路径 (CDP) 对于安全可靠的医疗决策至关重要。然而，现有的医学 大语言模型 (LLM) 基准主要评估最终答案的准确性，对模型遵守指南的能力提供有限的评估。为了弥补这一差距，我们引入了 MEGA-CDP，这是一个评估医疗 LLM 是否可以使用提供的指南作为参考来生成符合指南的 CDP 的基准。 MEGA-CDP由2,274份英文和中文临床实践指南通过指南到病例的流程构建而成，产生了42,353个具有明确参考CDP的临床病例。它支持单轮晕影和多轮交互设置，并引入了面向 CDP 的评估框架来测量路径一致性。对 16 个代表性 LLM 进行的实验表明，可靠的临床决策支持对于当前模型来说仍然具有挑战性，这证明了以 CDP 为导向的评估的必要性以及 MEGA-CDP 对于促进医学 LLM 指南遵守的价值。