论文
人设悖论:医学人设作为临床语言模型的行为先验
The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models
摘要
人设条件控制可被视为大语言模型(LLM)的一种行为先验,且常被假设能以单调方式赋予专业能力并提升安全性。然而,其对高风险临床决策的影响仍未得到充分刻画。我们系统评测了临床LLM中基于人设的控制,考察职业角色(如急诊科医生、护士)与交互风格(大胆 vs. 谨慎)如何在不同模型和医疗任务中影响行为。我们在临床分诊和患者安全任务上评估性能,采用涵盖任务准确率、校准度和安全相关风险行为的多维评测。我们发现系统性、情境依赖且非单调的效应:医学人设可提升重症监护任务的表现,在准确率和校准度上带来最高约+20%的增益,但在基层医疗场景中会以相近幅度降低表现。交互风格会调节风险倾向和敏感性,但这高度依赖具体模型。尽管在安全关键案例中,聚合的LLM裁判排名更青睐医学人设而非非医学人设,我们发现人类临床医生在安全合规性上表现出中等程度的一致性(平均Cohen's κ= 0.43),但在推理质量上对其95.9%的回复表示低置信。我们的工作表明,人设发挥着行为先验的作用,引入情境依赖的权衡,而非安全性或专业性的保证。代码见 https://github.com/rsinghlab/Persona_Paradox。
