CineMR:用于定量心脏 MRI 评估的工具集成视觉语言推理
CineMR: Tool-Integrated Vision-Language Reasoning for Quantitative Cardiac MRI Assessment
摘要
心血管磁共振(CMR),包括电影成像,是心脏形态和心室功能无创评估的参考标准。电影 CMR 解读将定性视觉评估与心室容积、射血分数、心肌质量、室壁厚度和局部室壁运动的定量测量相结合。如果没有分析工具,当前的医学视觉语言模型 (VLM) 无法从多维电影图像中可靠地得出定量测量结果。我们推出了 CineMR,这是一种工具增强型 VLM,它调用心脏图像分析工具并将其输出集成到交错推理中以进行定量 CMR 评估。我们还构建了一个多队列视觉问答基准,涵盖定量度量提取、多类诊断和鉴别诊断,以及用于分割、相位选择、体积测定、形态测量和区域壁运动分析的工具。 CineMR 通过工具交互跟踪的监督微调 (SFT) 进行训练,然后进行具有条件工具使用奖励的组相对策略优化 (GRPO)。在多群组电影 CMR 基准上,CineMR 实现了 35.9% pass@1 和 58.9% pass@4,而 Qwen3-VL-8B 主干网的 pass@1 为 1.5%,LLaVA-Med v1.5 和 MedGemma-4B 的 pass@1 分别为 0.0% 和 7.0%。 GRPO 后正确的工具调用达到 99.8%,而 SFT 后为 78.9%。与直接模型预测相比,实时工具输出将心室测量精度提高了 20.4--23.7%,并且删除所有工具将 pass@1 从 35.9% 减少到 27.9%。这些结果强调了使用可靠工具进行定量电影 CMR 推理的重要性,并支持 CineMR 作为辅助心脏图像评估的一种有前景的方法。代码、基准资源和模型权重可在 https://github.com/AI-MIND-Lab/CineMR. 获取