论文
MedSynapse-V:通过潜在记忆进化桥接视觉感知和临床直觉
MedSynapse-V: Bridging Visual Perception and Clinical Intuition via Latent Memory Evolution
摘要
高精度的医疗诊断不仅依赖于静态成像特征,还依赖于专家在图像判读过程中立即调用的隐式诊断记忆。我们查明了医疗 VLM 中由离散标记化引起的基本认知失调,导致量化损失、远程信息耗散以及案例自适应专业知识的缺失。为了弥补这一差距,我们提出了一个潜在诊断记忆进化框架,通过在模型的隐藏流中动态合成隐式诊断记忆来模拟临床医生的经验调用。具体来说,它从先验记忆元查询机制开始,其中可学习探针从解剖先验编码器检索结构化先验,以生成压缩的隐式记忆。为了确保临床保真度,我们引入了因果反事实细化(CCR),它利用强化学习和来自区域级特征屏蔽的反事实奖励来量化每个记忆的因果贡献,从而修剪冗余并使潜在表示与诊断逻辑保持一致。这一进化过程最终形成内在记忆转换(IMT),这是一种特权自主双分支范式,通过全词汇分歧对齐将教师分支诊断模式内化到学生分支中。跨多个数据集的综合实证评估表明,通过将外部专业知识转化为内生参数,我们的方法在诊断准确性方面显着优于现有的最先进方法,特别是思想链范式。该代码可在 https://github.com/zhcz328/MedSynapse-V 获取。