论文
CADRE:有界遗忘与先验漂移的医学视觉语言模型稳定参数高效适配
CADRE: Stable, Parameter Efficient Adaptation of Medical Vision Language Models with Bounded Forgetting and Prior Drift
摘要
BiomedCLIP等医学视觉语言模型(VLM)泛化广泛——但把它们适配到临床服务既是准确率问题也是安全问题。为更新已部署模型以支持新成像模态可能以两种伤害患者的方式静默失败:遗忘它已处理的模态(灾难性遗忘)——以及从可信预训练先验向模态特定捷径漂移。我们经由这两种性质而非排行榜准确率研究参数高效持续适配——提出CADRE:冻结骨干框架——组合低秩适配(LoRA)与在线、自缩放、相似度感知的弹性权重固化项(约束保留能力损失)——以及约束嵌入偏离冻结先验的锚定先验惩罚。两条短保证——总固化质量界与尺度不变性——消除原始EWC顺序脆弱性的尺度相关来源。以横跨三种最大差异模态(组织病理、超声、胸片)的乳腺癌作为受控跨模态压力测试——在多种子、多顺序协议配对显著性检验、仅训练约0.23%参数下——CADRE在适配方法中取得最高准确率、SPQ与后向迁移及最低遗忘——较最强正则化基线把遗忘降约七倍(0.075到0.011;配对p=0.023)——并在所有基线为负时取得正后向迁移。我们把这些框定为与临床安全期望对齐的稳定性性质——而非部署保证;对分布偏移与对抗输入的鲁棒性不在范围内。
