不忘初心：选择性向后细化，实现参数高效的持续学习

虽然基于提示的参数高效持续学习通过隔离特定于任务的提示来减轻灾难性遗忘，但这种隔离也限制了后面的任务改进早期的任务，从而使向后的知识迁移得不到充分探索。我们通过提出积极向后知识迁移（SABRE）的选择性向后改进来解决这一限制，这是一种无重放框架，可以在基于提示的持续学习中实现受控向后迁移。 SABRE 使用基于提示梯度几何和损失分布相似性的互补任务相关标准来确定向后细化何时有益，以及如何通过限制对提示参数空间中的非干扰方向的更新来安全地执行细化。跨多个持续学习基准和不同预训练骨干网络（包括 T5-Large、LLaMA 和 Qwen）的大量实验表明，SABRE 始终能够实现正向后迁移，同时保持强劲的整体平均性能。代码可在 https://github.com/OptMN-Lab/SABER-ICML-2026/ 获取。