论文
用于持续学习的信息论解耦即时调整
Information-Theoretic Decoupled Prompt Tuning for Continual Learning
摘要
持续学习（CL）旨在从连续数据中逐步获取知识，同时避免灾难性遗忘。最近，即时调优作为一种使预训练模型适应 CL 任务的有效方法引起了越来越多的关注。然而，现有的提示设计范例通常受到检索依赖和分类器偏差的影响，这使得模型适应对提示选择和对新到达类别的偏差预测敏感。为了应对这些挑战，我们提出了持续学习的解耦提示调整（DPT4CL），它将 CLIP 文本提示解耦为任务共享提示分布和特定于班级的提示。任务共享提示分布是通过优化信息瓶颈目标导出的，以促进跨任务知识转移并减轻分类器偏差，而特定于类的提示则增强类间可分离性，而不依赖于显式提示检索。此外，我们从信息论的角度建立了统一的超额风险界限，为所提出的框架的稳健泛化和遗忘缓解提供了理论支持。对标准 CL 基准的大量实验表明，DPT4CL 实现了最先进的性能。源代码可在此 https URL 获取