语言模型参与高风险决策：来自急诊分诊的观察

高风险决策在不确定性下，如医疗紧急情况的优先级排序，不仅依赖于准确的预测，还需要估计不同结果的可能性，并明确权衡不同行动的后果。这些原则长期以来一直是医学诊断和决策制定的基础。然而，语言模型越来越多地用于高风险临床建议，但这些建议没有明确说明决定的规则。在这里，我们展示了使用语言模型进行紧急情况优先级排序可以在一个概率决策框架内理解，为高风险设置中的决策分析提供了一个案例研究。使用从结构化评估消费者优先级排序系统中提取的临床案例，我们分析了在不同的效用函数下，关于紧急情况的治疗建议。我们发现，有能力的语言模型会根据陈述的效用调整建议，揭示出相同的预测结果可以支持截然不同的决策政策。这些发现表明，有效的部署不仅依赖于提高预测，还依赖于明确决策目标。更广泛地说，这表明，用于高风险应用的语言模型应该被视为依赖于预测性能和明确效用的概率决策系统。