通过动态前缀加权增强视觉语言模型的持续学习

我们研究了最近引入的视觉语言模型（VLM）领域级增量学习场景。最近的工作使用参数有效的方法（例如前缀调整或适配器）解决了这一挑战，这些方法通过附加向量将特定于任务的信息合并到输入标记中，从而促进模型适应下游任务。然而，以前的方法经常对这些向量的权重进行归一化，而忽略了不同输入标记需要不同程度调整的事实。为了克服这个问题，我们提出了动态前缀加权（DPW），这是一个动态为前缀分配权重的框架，并由适配器进行补充。 DPW 由 1) 一个门控模块组成，该模块根据相应输入词元的重要性调整每个前缀的权重；2) 一个加权机制，该加权机制将适配器输出权重导出为前缀调整权重的残差，确保仅在必要时使用适配器。实验结果表明，我们的方法在 VLM 的领域级增量学习场景中实现了最先进的性能。该代码位于：https://github.com/YonseiML/dpw。