在无任务持续学习中统一检测和适应

为了减轻 大语言模型 (LLM) 下游持续学习 (CL) 中的灾难性遗忘，现有方法通常会限制参数更新或引入特定于任务的适应模块。然而，这些方法在训练过程中通常依赖于明确的任务边界，限制了它们对现实无任务场景的适用性。在本文中，我们提出了一个 \textbf{Fi}sher-guided \textbf{uni}fied (\textbf{FiUni}) 框架，用于批量级任务检测和参数高效的持续适应。 FiUni 的动机是关于预训练模型的 Fisher 信息矩阵 (FIM) 的一个关键观察：其克罗内克因子近似曲率 (K-FAC) 近似的主子空间之间的正交性是根据少量下游任务样本估计的，可以反映不同任务之间的相似性。基于这一观察，FiUni 构建了 FIM 派生的冻结子空间来指导低秩适应 (LoRA)，同时将每个传入批处理窗口的 F​​isher 主子空间与历史子空间进行匹配。这使得 FiUni 能够自适应地确定是重用现有知识、扩展相关子空间还是创建新子空间，动态平衡知识共享和任务隔离。实验表明，FiUni 可以有效地推断潜在的批量级任务从属关系，并以更少的可训练参数实现与先进的任务感知 CL 方法相比的竞争性能。