论文
异构医学视觉问答持续学习的实证分析
An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering
摘要
在现实临床环境中部署医学视觉问答 (MedVQA) 系统需要模型能够适应新的临床任务，同时又不会忘记以前获得的知识。持续学习（CL）为此设置提供了一个实用的框架。尽管医学视觉语言模型取得了快速进展，但跨异构 MedVQA 任务训练这些模型时 CL 方法的行为仍未得到充分探索。这项工作对 MedVQA 的 CL 进行了系统评估，涵盖不同的临床目标，包括分类、多标签分类、检测、细胞计数和报告生成。具体来说，我们探索（1）现有的 CL 方法减轻灾难性遗忘的能力； （2）他们对任务顺序的敏感性，分析不同的任务顺序如何影响绩效保留和遗忘； （3）随着新任务的学习，低秩适应参数的演变，揭示了不同 CL 方法下权重漂移的模式。我们的研究结果表明，当具有不同目标和监督形式的任务交织在一起时，现有的 CL 方法很难维持稳定性-可塑性平衡。代码和完整的实验设置将公开。