论文

持续多模态学习中的隐性遗忘:当准确率幸存而锚定失效

Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails

模型训练持续学习

摘要

多模态大语言模型必须持续适应演化的任务与领域,但标准持续学习度量主要衡量旧答案是否仍正确——使多模态锚定的稳定性基本未被检验。我们研究这一被忽视的失败模式并追问:持续适配的MLLM能否不仅保持它回答什么——还保持它如何使用视觉、文本、OCR、图表与文档证据。我们识别出隐性证据使用遗忘(hidden evidence-use forgetting)——答案准确率得以保留而模型悄悄转向不同或更少锚定的证据通道——并提出RCL——无回放的依赖约束持续学习框架。RCL冻结先前检查点作为行为参照——经反事实通道干预估计教师与学生的证据依赖画像——并联合优化任务学习、预测保持与依赖保持而不增加推理时成本。跨CoIN、COAST、MCITlib与证据敏感多模态流:RCL持续改善最终性能并减少相对无回放、PEFT、路由与记忆辅助基线的遗忘——同时大幅降低模态依赖漂移、主导证据翻转与隐性遗忘率。这些结果表明稳健的持续多模态学习需要保持正确答案背后的证据路径——而非仅答案本身。

持续多模态学习中的隐性遗忘:当准确率幸存而接地失效:论文配图
图 1:无重放多模态持续适应中隐藏的证据使用漂移。 (a) 答案遗忘与事后证据漂移的关联性较弱;阴影区域标志着较小的答案下降,但较大的证据漂移。 (b) 对于 Answer-KD,带有小气泡的温暖单元表明输出保留可以隐藏大量显性证据翻转。详细信息参见附录 B.1。