模型冻结、经验更新：多模态医疗AI的外部学习机制

大型语言模型 (LLM) 和视觉语言模型 (VLM) 通常在部署后被冻结，因此它们无法从解决的案例中学习。这在医学领域尤其令人担忧，因为新的临床证据、更新的指南和新的疗法可以改变既定的实践。微调可以更新模型，但需要访问模型权重和额外的训练。无参数方法避免了训练，但它们可能会过度拟合固定的验证集、缺乏可靠的领域知识，或者仅将经验保存为文本而丢失视觉细节。为了解决这些限制，我们提出了一个与模型无关的框架，允许冻结的LLM和VLM通过三种形式的外部专业知识从部署经验中学习：指导推理和工具使用的技能，存储由早期案例或可信外部证据支持的可靠事实的知识记忆，以及保留视觉示例并指导模型将每个检索到的案例与当前图像相关联的多模态知识库。验证策略不依赖固定的验证集，而是仅在有助于新案例且不会降低早期案例性能的情况下才保留更新。在涵盖临床诊断、临床工作流程、医学推理、医学和非医学视觉推理的六个基准测试中，以及四个开放权重和闭源基础模型，我们的框架在在线部署过程中的性能比医疗任务基础模型提高了高达 34.2%，泛化到未见过的病例，无需进一步优化即可转移到其他模型，并且适用于非医学领域。