MSM-Mem：用于医疗 AI 代理的通用医疗结构化多模态内存框架

临床决策本质上是经验驱动的：医生通过综合患者病史、多模式观察和交互中的先前诊断经验，逐步完善他们的推理。相比之下，当前基于多模式 大语言模型 (MLLM) 的医疗 AI 代理主要作为无状态推理系统运行，为每次交互独立生成决策，而不保留或内化经验知识。这种差异限制了他们通过使用逐步提高推理可靠性并适应现实临床工作流程中纵向患者环境的能力。在这项研究中，我们提出了医疗结构化多模态记忆（MSM-Mem），这是一种代理记忆框架，使医疗人工智能代理能够通过积累的临床经验不断发展。 MSM-Mem 将异质的临床经验组织成语义、情景和视觉记忆，并在推理过程中逐步更新它们，从而允许代理检索先前的经验来为当前的推理提供信息，并随着时间的推移逐步完善决策。对 MoE-LLaVA 主干网的评估表明，性能得到了持续改善，并且通过持续使用观察到了进一步的收益。总的来说，MSM-Mem 为医疗 AI 代理提供了一条可行的途径，能够以类似于临床医生随着时间的推移从实践中学习的方式来发展其推理能力。