MEDIC-AD：迈向医学视觉语言模型的临床智能

摘要

病变检测、症状跟踪和视觉可解释性是现实世界医学图像分析的核心，但当前的医学视觉语言模型 (VLM) 仍然缺乏将其广泛的知识转化为临床可操作输出的机制。为了弥补这一差距，我们推出了 MEDIC-AD，这是一种面向临床的 VLM，通过分阶段框架增强了这三种功能。首先，可学习的异常感知标记（<Ano>）鼓励模型关注异常区域并构建更具辨别力的以病变为中心的表示。其次，图像间差异标记 (<Diff>) 明确编码研究之间的时间变化，使模型能够区分疾病负担的恶化、改善和稳定性。最后，专用的可解释性阶段训练模型生成突出病变相关区域的热图，提供与模型推理一致的清晰视觉证据。通过我们的分阶段设计，MEDIC-AD 稳步提高了异常检测、症状跟踪和异常分割的性能，与闭源和医疗专业基线相比，实现了最先进的结果。对从真实医院工作流程收集的真实纵向临床数据的评估进一步表明，MEDIC-AD 在实际患者监测和决策支持工作流程中提供稳定的预测和临床忠实的解释