AWARe：通过激活加权适应性保留减轻灾难性遗忘

由于大规模多模态 预训练，多模态 大语言模型 (MLLM) 表现出强大的泛化和推理能力。然而，微调 这些下游任务的模型通常会导致灾难性的遗忘，新学习的特定于任务的知识会降低以前获得的能力。出现这个问题的原因是新任务的梯度更新会覆盖对先验知识至关重要的参数，从而限制了 MLLM 的实际部署。为了应对这一挑战，我们提出了激活加权自适应保留（AWARe），这是一种 微调 方法，可通过基于激活模式动态控制参数更新来减轻灾难性遗忘。 AWARe 为参数分配基于激活的重要性评分，有选择地冻结那些对于保留先前功能至关重要的参数，同时允许不太重要的参数适应新任务。重要的是，AWARe 无需修改模型架构即可运行，确保与现有推理引擎的兼容性。大量实验表明，与现有方法相比，AWARe 有效保留了上游能力，同时实现了卓越的下游性能。代码可在 https://github.com/kaln27/AWARe 获取。