CORTEX：面向可信3D胸部CT模型的结构化推理基准

多模态 大语言模型 (MLLM) 推理在医学成像领域显示出强大的前景。然而，这种推理通常是自由格式的文本，仅根据其最终答案来判断，因此很难解释和验证，特别是在 3D 放射学中，诊断应可追溯到扫描中的证据。现有的胸部 CT 问答数据集通过将专家放射学报告减少为仅回答对、放弃将结果与结论联系起来的推理并省略临床医生所依赖的患者病史，使这一问题变得更加复杂。因此，具有推理能力的 3D 胸部 CT MLLM 仍然遥不可及，因为训练它们所需的结构化监督和验证其推理所需的协议尚不存在。我们介绍 CORTEX（临床组织推理和结构化解释），这是 3D 胸部 CT 的结构化推理基准。对于每个问题，CORTEX 将缺失的推理恢复为反映放射科医生工作流程的四阶段诊断跟踪：任务理解、视觉观察、诊断推理和答案合成。我们使用具有广泛医学和一般领域知识的前沿 大语言模型 生成这些痕迹，然后使用阶段级评估协议将自动评分与专家放射科医生审查相结合来过滤和验证它们。至关重要的是，推理结构和评估标准都是与临床医生密切合作设计的。 CORTEX 基于 CT-RATE（一个没有推理注释的大型公开可用胸部 CT 数据集）构建，包含跨开放式 VQA、封闭式 VQA 和报告生成的 76,177 个经过验证的推理轨迹，提供构建和评估 3D 胸部 CT 的可信推理模型所需的结构化监督和阶段级评估协议。我们的数据集和评估代码可在 https://huggingface.co/datasets/aneesurhashmi/cortex 获取