NeuroQA：用于 3D 脑 MRI 理解的大规模图像基准

我们推出 NeuroQA，这是 3D 脑磁共振成像 (MRI) 中视觉问答的大规模基准，包含来自 12 个数据集的 12,977 名受试者的 56,953 个 QA 对。它跨越 5 岁至 104 岁，涵盖五个临床领域：阿尔茨海默病、帕金森病、肿瘤、白质疾病和神经发育。与之前在 2D 切片上运行或依赖于狭窄诊断标签的医学视觉问答 (VQA) 工作不同，NeuroQA 将每个项目与完整的 3D 体积配对。它评估 11 种基于临床的推理技能，包括是/否、多项选择和开放式格式。在 203 个模板中，131 个是基于图像的（可通过 3 平面查看器进行回答），72 个是基于图像的（来自定量体积法或临床仪器的 真值）。为了删除纯文本快捷方式，我们应用了答案分布细化，将封闭格式纯文本准确率从 $>$80% 降低到 44.6%；图像必要性通过与基准一起发布的图像图像证据核验协议单独评估。 38 条规则的确定性管道和两轮专家评审根据 FreeSurfer 测量、元数据或放射学报告字段验证每个 QA 对，跨模板的相同主题矛盾为零。我们进行了临床医生评估，其中两名临床医生在三平面观察器上独立评估 100 个冷冻测试项目。在封闭格式（是/否 + 多项选择）测试公共项目上，最佳零样本视觉语言模型和监督 3D CNN 基线分别达到 47.5% 和 43.7% 的准确率，均低于纯文本多数模板下限的 49.4%。 NeuroQA 采用两层版本，其中包含用于开放访问数据集的公共 QA 对和用于受数据使用协议 (DUA) 限制的数据集的可重复生成脚本，以及主题级别拆分、保留的私人测试集和在线排行榜。