论文
相同的事实,不同的更新:推理设置塑造了医疗分配中的 LLM 行为
Same Facts, Different Updates: Inference Setup Shapes LLM Behavior in Medical Allocation
摘要
大语言模型 正在被纳入几乎所有领域的敏感且重要的决策过程。虽然之前的工作研究了围绕输入和场景框架的模型偏差,但由于部署过程中积累的上下文,模型也可能以意想不到和不良的方式运行。在这项工作中,我们研究了一个医学示例,其中要求模型在给定简短临床背景的情况下将资源分配概率分配给两个人,然后看到相同的场景,其中包含一个包含对比患者信息的额外句子,无论有或没有其先前在上下文中的响应。在四个测试模型中的三个中,配对上下文和独立推理实验具有不同的概率变化,当提供新信息时,通常方向相反(有利于 B 和 A)。我们包括额外的配对上下文实验,以显示场景轴上不同属性的影响。我们的研究结果显示了敏感医疗用例中患者信息的上下文相关影响。更广泛地说,我们的工作表明了将基于 LLM 的系统仔细纳入决策过程、上下文工程和进一步模型行为研究的重要性。