论文

BrainTRACE:追踪脑 MRI 临床推理中的纵向、多模态和体积证据

BrainTRACE: Tracing Longitudinal, Multimodal, and Volumetric Evidence in Brain MRI Clinical Reasoning

模型评测基准与评测资源

摘要

脑 MRI 解释是一个纵向临床推理问题:放射科医生比较系列研究,整合 MRI 序列的信息,定位体积解剖学中的发现,并将这些证据转化为基于报告的评估。现有的医学 VQA 和 3D 成像基准捕获了该工作流程的重要部分,但通常通过孤立的图像、静态体积或无根据的报告式答案来评估脑 MRI,从而掩盖了支持临床有效性的证据链中的失败。我们推出了 BrainTRACE,这是一个基于报告的基准,用于评估视觉语言模型是否可以追踪纵向脑 MRI 解释所需的证据结构。 BrainTRACE 包含来自 1,778 名纵向患者的 7,273 个评分 VQA 实例、7,299 项 MRI 研究以及大约 29k 共同配准的 3D MRI 序列卷。该基准由五个级别的临床推理(从习得识别到案例级综合)以及涵盖纵向比较、基于报告的参考、多序列集成和体积空间证据的证据要求组成。 BrainTRACE 支持与标准VLM接口兼容的渲染输入、3D 证据条件以及可审计纵向证据链中六个步骤的分解案例推理轨道。对 20 个VLM配置的评估表明,当前的系统可以识别孤立的视觉线索,但很少将它们组合成有根据的纵向解释。我们发布基准规范、评估列表、评分实施、评分细则和审核记录格式,以支持脑 MRI VLM评估的可重复进展。

BrainTRACE:追踪脑 MRI 临床推理中的纵向、多模态和体积证据的原论文方法或结果图
图 3:BrainTRACE 通过人机循环管道构建基于报告的 VQA 实例,该管道将隐藏的临床参考与面向模型的视觉证据分开。报告和分段衍生的测量定义答案目标、所需事实、矛盾和评分标准。模型仅接收允许的视觉输入。