论文

LDEPrompt:层重要性引导的双可扩展提示池,用于基于预训练模型的类增量学习

LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

模型训练持续学习

摘要

基于提示的类增量学习方法通​​常构建一个由多个可训练的关键提示组成的提示池,并执行实例级匹配以选择最合适的提示嵌入,这已经显示出有希望的结果。然而,现有方法面临一些限制,包括固定提示池、提示嵌入的手动选择以及对提示选择的预训练主干网的强烈依赖。为了解决这些问题,我们提出了一个\textbf{L}ayer重要性引导的\textbf{D}ual\textbf{E}xpandable\textbf{P}rompt Pool(\textbf{LDEPrompt}),它可以实现自适应层选择以及提示池的动态冻结和扩展。对广泛使用的类增量学习基准进行的大量实验表明,LDEPrompt 实现了最先进的性能,验证了其有效性和可扩展性。