论文

Dental-TriageBench:分层牙科分类的多模式推理基准测试

Dental-TriageBench: Benchmarking Multimodal Reasoning for Hierarchical Dental Triage

模型评测基准与评测资源

摘要

牙科分诊是一项安全关键的临床路线任务,需要整合多模式临床信息(例如患者投诉和放射学证据)来确定完整的转诊计划。我们推出 Dental-TriageBench,这是第一个专家注释的推理驱动多模式牙科分类基准。它基于真实的门诊工作流程构建,包含 246 个去标识化病例,并附有专家编写的专家参考推理轨迹以及分层分类标签。我们将 19 个专有、开源和医疗领域的 MLLM 与作为人类基线的三名初级牙医进行比较,并发现在细粒度治疗级别分类方面存在巨大的人类模型差距。进一步的分析表明,准确的分类需要投诉和 OPG 信息,并且模型错误集中在具有多个转诊领域的案例,其中 MLLM 往往会产生过于狭窄的转诊集和遗漏严重的错误。 Dental-TriageBench 为开发多模式临床 AI 系统提供了一个现实的测试平台,这些系统更加临床基础、覆盖范围更广,并且下游护理更安全。