论文

MIRA:用于代理诊断的医学图像反射

MIRA: Medical Image Reflection for Agentic Diagnosis

模型训练强化学习

摘要

医学视觉代理可以使用工具来检查图像并检索外部知识,但不加区别地使用工具可能会引入噪音或误导性证据。因此,可靠的诊断不仅需要获得额外的观察结果,还需要验证工具操作是否必要以及由此产生的证据是否支持当前的假设。我们介绍 MIRA(用于代理诊断的医学图像反射),这是一种用于自主证据搜索和反思验证的医学视觉诊断框架。 MIRA 动态调用图像处理操作,包括缩放、视觉定位、指向、旋转和测量以及网络搜索,同时评估所获取证据的相关性和一致性。我们通过两阶段训练策略开发 MIRA。首先,工具增强的蒙特卡罗树搜索数据引擎探索不同的诊断假设,并联合验证视觉基础准确性和语义一致性,以构建有监督的 微调 轨迹。其次,强化学习通过在线反思性原则演化进一步改善决策:失败案例被提炼为候选原则,并且只保留能够提高轨迹奖励的原则。在九项医学视觉推理基准测试中,MIRA 的平均得分为 64.73,将其 Qwen3-VL-8B 主干提高了 7.44 分。它还将有用的工具使用判断从 56.2% 增加到 73.8%,并将有害的判断从 8.9% 减少到 1.6%。定性分析表明,MIRA 可以重新检查证据、纠正不成熟的结论并调整其工具使用策略。项目页面:https://MIRA-VL.github.io/