MedFailBench：临床医生构建的医疗 AI 安全边界检查开源基准

摘要

大多数医疗人工智能基准衡量模型是否知道正确答案。 MedFailBench 提出了一个不同的问题：哪个安全边界失败了？我们提出了由临床医生构建的综合基准和故障图谱。该资源按照 1 到 5 的严重程度和安全门类型对医疗 AI 错误进行了标记：错过紧急升级、不安全的远程给药、不安全的出院保证、证据伪造、不安全的协议执行和来源支持缺口。当前的公开版本 (v0.2.1) 包含由临床医生审查的 44 个合成病例，以及严重程度注释、公共 Hugging Face Space 源、安全门分类法、临床严重程度标准以及用于存档模型响应筛选运行的自动化管道。四十个案例有已填充的安全门字段，其中四个需要完成安全门。不包括患者数据、临床验证声明或模型排名。 MedFailBench 在 Apache-2.0 和 CC-BY-4.0 下发布，并带有 Zenodo DOI 10.5281/zenodo.21205535。