论文
DDX-TRACE:VLM 中医疗诊断轨迹的基准
DDX-TRACE: A Benchmark for Medical Diagnostic Trajectories in VLMs
摘要
医学诊断并不是根据完全指定的小插图进行的单一预测。这是一个连续的检查:临床医生决定获取哪些证据,修改鉴别诊断,并在诊断得到充分支持时停止。相反,大多数医疗人工智能基准会预先揭示相关背景,并仅对最终答案进行评分,从而使不受支持的正确猜测、过早结束、低效的检查和较差的不确定性更新变得不可见。我们推出 DDX-TRACE,这是一种由医生判定的多模式神经放射学基准,可评估 211 个具有挑战性病例的隐藏证据下的诊断轨迹。每个病例开始时的临床病史都有限;模型请求自由形式的成像研究,接收匹配的图像包(如果有),在每次转动后更新概率鉴别诊断,并以局部最终诊断停止。在评估最先进的 VLM 时,我们发现最终诊断分数可能会严重歪曲检查质量:模型可能在没有必要证据的情况下猜测合理的诊断,要求有用的研究但误解原始图像,或者在更新不确定性方面效率低下。受控证据变体隔离了规划、视觉证据提取和下游差分推理中的瓶颈。 DDX-TRACE 将医疗 AI 评估从最终答案转变为证据支持的诊断轨迹。