论文
诊断正确,推理装饰:医学思维链的扰动审计
Right Diagnoses, Decorative Reasoning:A Perturbation Audit of Medical Chain-of-Thought
摘要
临床医生将思维链(CoT)理由读作医学推理的证据,但可见的推理链是否真的扮演这一角色却很少被检验。通用领域的CoT忠实性探针忽略临床代价,而医学LLM评估则把推理链当作黑箱。我们用一次医学扰动审计来填补这一空白:一套包含30个算子的组合,用临床动机的算子(严重程度反转、否定翻转、人口属性交换、证据消融)同时编辑推理链与问题,并配以链更新×答案翻转联合分析,按失败模式对每个模型进行分类。将该审计应用于四个医学问答基准上的14个LLM,三项独立测试的结果趋于一致:链解耦率(CDR;推理链未记录编辑且答案未翻转)在临床上有意义的破坏性编辑上全面板为72.9%;破坏推理链不改变准确率;移除CoT提示不降低准确率。两位委员会认证的临床医生对N=197个扰动问题重新标注;98.5%的问题黄金答案仍然站得住。该模式在医学与推理微调以及不同规模上都成立;在闭源层级(推理链文本不可得)上,答案侧信号与同样的解耦一致。我们的框架与CDR为审计医学CoT究竟是忠实的还是仅仅是记录性文本提供了一个可复用的标尺。